넣어 보면

토큰마다 점수가 한 쌍씩 나옵니다

"Do you have time"을 넣은 결과입니다. 토큰이 4개이니 점수도 4줄입니다.

출력 층을 바꾸기 전에는 줄마다 점수가 50,257개였습니다. 아직 훈련 전이라 이 값에 뜻은 없습니다.

뒤를 가린다

토큰은 자기 앞만 볼 수 있습니다

GPT 안에서 토큰은 다른 토큰을 참고해 자기 값을 정합니다. 이때 자기보다 뒤에 오는 토큰은 가려 두어 보지 못합니다. 그래서 Do는 자기만 보고, time은 넷을 모두 봅니다.

5강에서 다룬 내용입니다.

그래서

마지막 줄만 읽습니다

문장 전체를 본 것은 마지막 토큰뿐입니다. 그 줄의 점수 2개를 문장 전체에 대한 답으로 씁니다.

점수에서 답으로

큰 쪽이 답입니다

마지막 줄의 −3.60과 3.99 가운데 큰 쪽은 1번, 스팸입니다.

다음 토큰을 고를 때 점수가 가장 높은 토큰을 고른 것과 같은 방법입니다.

하지만

이 답은 믿을 수 없습니다

"시간 있으세요?"라는 평범한 글을 스팸이라고 했습니다. 새 층의 가중치가 아무 값이라, 답도 우연히 나온 것입니다.

새 층의 가중치와 '다시 뽑는다면'의 점수는 예시 값입니다.