백지 상태

막 만든 모델은 아무 말이나 합니다

모델 안에 든 숫자를 가중치라고 합니다. 막 만든 모델은 가중치가 무작위 값이라서 언어를 전혀 모릅니다.

원본 실습에서 훈련 전 모델이 실제로 쓴 글입니다.

지름길

훈련을 마친 가중치를 가져와 넣습니다

오픈AI가 공개한 GPT-2의 가중치를 내려받아 우리 모델의 같은 자리에 옮겨 넣습니다. 이 일을 가중치 로드라고 합니다.

GPT-2는 오픈AI가 만든 LLM입니다. 엄청난 양의 글로 사전 훈련을 이미 마쳤습니다.

조건

숫자가 전부 같아야 들어갑니다

다섯 숫자가 원본과 같아야 가중치가 제자리에 들어갑니다. 블록은 GPT 안에 되풀이해 쌓는 부품, 어텐션은 그 안에서 단어끼리 참고하는 계산입니다.

가장 작은 GPT-2의 값입니다. 내려받는 가중치는 1억 2,400만 개이고, 우리 모델은 출력 층의 표를 따로 세어 1억 6,300만 개입니다(7강 5편).

다른 크기

GPT-2는 네 가지 크기로 공개되어 있습니다

클수록 층이 많고, 토큰 하나를 나타내는 숫자 수인 임베딩 차원도 큽니다. 여기서는 가장 작은 것을 씁니다. 이름만 바꾸면 더 큰 것도 같은 방법으로 넣을 수 있습니다.

확인

잘 들어갔는지 글을 쓰게 해 봅니다

1편에서 본 그 문장입니다. 말이 되는 글이 이어지면 가중치가 제자리에 들어간 것입니다.

뜻은 '모든 노력은 당신을 앞으로 나아가게 합니다. 첫걸음은 당신이 하는 일의 중요성을 이해하는 것'입니다.