되풀이

붙인 글을 다시 넣습니다

토큰을 붙여 길어진 글 전체를 다시 모델에 넣고 다음 토큰을 또 하나 받습니다. 바퀴마다 글이 토큰 하나씩 길어집니다.

책에 나온 예입니다. 여섯 바퀴를 돌면 Hello, I am a model ready to help.가 됩니다.

글이 길어지면

최근 1,024개만 넣습니다

모델이 한 번에 볼 수 있는 토큰은 1,024개까지입니다. 글이 그보다 길어지면 앞쪽을 잘라 내고 가장 최근 것만 넣습니다.

이 한도가 6강에서 정한 문맥 길이입니다. 그림의 칸 하나는 토큰 64개이고, 글의 길이는 예시입니다.

실제로 돌리면

뜻 모를 글이 나옵니다

같은 글 Hello, I am을 넣고 토큰 6개를 만들게 했습니다. 토큰이 10개로 늘었지만 읽을 수 없는 글입니다.

실습에서 실제로 나온 결과입니다. 값을 무작위로 끄는 드롭아웃은 글을 쓸 때 꺼 둡니다.

이유

파라미터가 아직 무작위입니다

구조는 완성됐지만 안에 든 숫자 1억 6,300만 개는 처음에 아무렇게나 채운 값입니다. 그래서 점수도 아무렇게나 나오고, 고른 토큰에도 뜻이 없습니다.

무늬와 막대는 예시입니다. 이 숫자들을 알맞게 고쳐 가는 일이 훈련입니다.

7강 정리

글을 넣으면 글이 나옵니다

입구에서 출구까지 길이 모두 이어졌습니다. 아직 말이 되지 않을 뿐입니다.