되짚기

모델이 하는 일은 여전히 다음 토큰 맞히기입니다

미세 튜닝에서도 사전 훈련 때와 같습니다. 앞의 토큰들을 보고 다음에 올 토큰을 맞힙니다.

철자 예제의 응답 첫머리입니다. 'The correct spelling is'는 '올바른 철자는'이라는 뜻입니다.

그래서

입력 줄을 한 칸 당기면 정답 줄입니다

정답을 따로 구할 필요가 없습니다. 입력 줄을 왼쪽으로 한 칸 당기면 칸마다 바로 아래에 '다음 토큰'이 옵니다.

정답 줄을 타깃(target)이라고도 부릅니다. 4편에서 본 첫째 줄입니다.

마지막 칸

끝에는 끝 표시를 놓습니다

마지막 토큰 다음에는 올 것이 없습니다. 그래서 그 칸의 정답은 글의 끝 표시 50256번입니다. 모델은 다 썼으면 멈추는 것도 함께 배웁니다.

실제 예제에서는

응답 자리의 정답이 모범 응답입니다

철자 예제 한 줄을 통째로 한 칸 당겼습니다. 응답이 나올 자리의 정답이 2편에서 말한 모범 응답입니다. 앞부분도 같은 방식으로 다음 토큰을 맞힙니다.

4편에서 본 토큰 57개짜리 줄입니다.

묶음 전체

입력 표와 정답 표가 한 쌍이 됩니다

묶음의 모든 줄에 똑같이 합니다. 두 표는 크기가 같고, 줄마다 한 칸씩 어긋나 있습니다.

원본 실습에서 실제로 나온 표입니다.

10강과 다른 점

정답이 칸마다 하나씩 있습니다

10강의 분류에서는 문자 한 통에 정답이 숫자 하나였습니다. 이번에는 글을 써야 하므로 칸마다 정답이 있습니다.