답

숫자 다섯 개가 정합니다

가장 작은 GPT-2의 값입니다. 다음 장부터 하나씩 봅니다.

크기와 상관없는 설정이 둘 더 있어서 원본의 설정값은 모두 일곱 개입니다.

어휘 크기 · 문맥 길이

아는 토큰과 한 번에 보는 길이

모델은 정해진 토큰 50,257가지 안에서만 읽고 씁니다. 그리고 한 번에 볼 수 있는 토큰은 1,024개까지입니다.

모델이 아는 토큰의 목록을 어휘사전이라고 부릅니다.

임베딩 차원

토큰 하나가 숫자 768개

토큰 하나의 뜻을 숫자 768개에 나누어 담습니다. 이 개수를 임베딩 차원이라고 합니다.

헤드 수 · 층 수

어텐션 12개를 12층으로

블록 하나 안에서 어텐션 12개가 함께 돌아갑니다. 그 하나하나를 헤드라고 부릅니다. 이런 블록을 12층 쌓습니다.

어텐션은 단어가 다른 단어를 참고하는 계산입니다.

파라미터

모두 세면 1억 2,400만 개

파라미터는 모델 안에 든 숫자로, 훈련하면서 조금씩 고쳐집니다. 앞의 다섯 값이 커지면 파라미터도 늘어납니다.

표의 크기 2,048은 세는 법을 보이는 예입니다. 1억 2,400만은 가장 작은 GPT-2의 파라미터 수입니다.

더 큰 모델

큰 모델도 구조는 같습니다

같은 구조에서 숫자만 키운 것입니다. 이 강의는 가장 작은 GPT-2를 만듭니다. 훈련을 마친 모델이 공개되어 있고 개인 컴퓨터에서도 돌아가기 때문입니다.