문제와 정답

정답은 바로 다음 토큰입니다

실제 글 'every effort moves you'에 답이 이미 들어 있습니다. 사람이 정답을 따로 달아 줄 필요가 없습니다.

정답 토큰을 타깃이라고도 부릅니다.

훈련 전 모델의 답

세 칸 모두 틀렸습니다

모델은 자리마다 확률이 가장 높은 토큰을 답으로 냈습니다. 정답과 하나도 겹치지 않습니다.

맞은 개수로 재면

나아져도 0점 그대로입니다

정답 쪽 확률이 많이 올라와도 1등이 아니면 여전히 틀린 답입니다. 조금씩 나아지는 것을 맞은 개수로는 알아챌 수 없습니다.

이해를 돕는 예시 값입니다.

대신 이것을 봅니다

정답 토큰에 준 확률

후보가 7개뿐인 작은 예입니다. 'every' 다음의 정답 'effort'에 0.60을 줬습니다. 이 숫자가 1에 가까울수록 잘 맞힌 것입니다.

책에 실린 설명용 숫자입니다.

실제 모델에서는

정답 확률이 0.00007쯤입니다

훈련 전 GPT가 정답 세 개에 준 확률입니다. 너무 작아서 1만 배로 늘려 그렸습니다. 후보 50,257개 중 아무거나 찍을 때의 0.00002와 비슷한 크기입니다.

남은 문제

숫자가 여러 개입니다

문장을 하나 더 넣으면 정답 확률은 여섯 개가 됩니다. 모델의 성적을 말하려면 이것을 숫자 하나로 합쳐야 합니다.

문장 2의 뜻은 '나는 초콜릿을 정말 좋아한다'입니다.