먼저 복습

모델은 토큰을 하나씩 붙여 글을 씁니다

지금까지 쓴 글을 통째로 넣으면 다음 토큰 하나가 나옵니다. 그것을 뒤에 붙이고 다시 넣습니다.

토큰은 글을 잘게 나눈 조각으로, 대체로 단어 하나입니다.

모델이 내놓는 것

모델은 점수표를 내놓습니다

후보 토큰마다 '다음에 올 만한 정도'를 점수로 매깁니다. 높을수록 잘 어울린다는 뜻이고, 0보다 작은 점수도 나옵니다.

이 점수를 로짓이라고 부릅니다. 실제 후보는 50,257개이고, 여기서는 9개로 줄인 예제를 씁니다.

디코딩

점수표에서 하나를 고르는 일이 남습니다

점수표를 보고 토큰 하나를 정하는 일을 디코딩이라고 합니다. 고르는 방법이 달라지면 같은 모델이 다른 글을 씁니다.

가장 쉬운 방법

점수가 가장 높은 것을 고릅니다

아홉 개 중 6.75가 가장 큽니다. 그래서 forward를 고릅니다.

이 방법을 그리디(greedy) 디코딩이라고 부릅니다. greedy는 '욕심 많은'이라는 뜻으로, 매번 눈앞의 1등만 집는다는 말입니다.

문제

몇 번을 시켜도 같은 글입니다

8강과 같은 방법으로 소설을 두 번만 읽힌, 훈련이 덜 된 모델입니다. 점수표가 같으니 다시 시켜도 똑같고, ', and'만 되풀이합니다.

8강에서는 열 번 읽혔고, 그때도 두 번 읽힌 때에는 ', and'가 되풀이됐습니다.

이번 강의

고르는 방법을 바꾸고, 모델을 저장하고 불러옵니다