결과

말이 되는 문장이 나옵니다

모델의 설계와 코드는 그대로이고, 안에 든 숫자만 바꿨습니다.

위는 5편에서 본 결과로 탑-k 25와 온도 1.4, 아래는 탑-k 50과 온도 1.5로 뽑은 실습 결과입니다.

글이 곧 검사

짝이 하나라도 틀리면 글이 깨집니다

숫자를 엉뚱한 자리에 넣으면 문장이 곧바로 깨집니다. 그래서 말이 되는 글이 나왔다는 것이 제대로 옮겼다는 확인입니다.

wte는 토큰 임베딩, wpe는 위치 임베딩, attn은 어텐션에 오픈AI가 붙인 이름표입니다.

숫자로 확인

틀린 정도가 3분의 1로 줄었습니다

손실은 모델이 틀린 정도를 나타내는 숫자로, 낮을수록 좋습니다. 같은 소설로 재면 읽히기 전 10.98이던 것이 GPT-2의 숫자로는 3.56입니다.

모두 검증 손실, 곧 모델이 배우지 않은 소설 뒤쪽 10%로 잰 손실입니다. 위의 세 값은 8강의 훈련 기록이고, 9강은 그중 두 번 읽힌 때의 모델을 가져다 썼습니다.

더 큰 모델

더 큰 GPT-2도 같은 방법으로 불러옵니다

네 가지 모두 설계는 같고 층 수, 임베딩 차원, 헤드 수만 다릅니다. 설정의 이 세 숫자만 바꾸면 같은 코드로 불러올 수 있습니다.

M은 백만입니다. 124M은 숫자가 약 1억 2,400만 개라는 뜻입니다. 6강의 3억 4,500만 같은 값은 처음 발표된 수이고, 여기 적힌 것은 오픈AI가 다시 센 수입니다.

9강 정리

여기까지 온 길