세어 보면

6강에서 본 수보다 많습니다

파라미터는 모델 안에 든 숫자로, 훈련하면서 조금씩 고쳐 가는 값입니다. 조립한 모델에서 직접 세면 163,009,536개입니다.

어디에 몇 개

길이가 똑같은 막대가 둘 있습니다

블록 12개가 절반쯤을 차지합니다. 나머지는 거의 다 토큰 임베딩과 출력 층에 있고, 두 곳의 개수가 똑같습니다.

부품별 개수는 표의 가로와 세로를 곱해 계산한 값입니다.

같은 이유

두 표의 크기가 같습니다

두 표 모두 토큰 하나에 한 줄, 줄마다 숫자 768개입니다. 입구에서는 토큰의 줄을 꺼내 벡터로 쓰고, 출구에서는 줄마다 점수를 하나씩 냅니다.

칸 하나가 파라미터 하나입니다. 그림은 줄여 그렸습니다.

가중치 묶기

표 하나를 두 곳에서 같이 씁니다

앞 장에서 본 대로 두 표는 둘 다 토큰마다 한 줄이라 크기가 같습니다. 그래서 원래의 GPT-2는 표 하나를 입구와 출구에서 같이 썼습니다. 그러면 38,597,376개가 빠져 124,412,160개가 됩니다.

GPT-2는 GPT의 초기 공개 모델이고, 1억 2,400만이라는 이름이 여기서 나왔습니다. 이 방법이 가중치 묶기이고, 가중치는 파라미터와 거의 같은 뜻입니다.

이 강의의 선택

우리는 따로 둡니다

묶으면 숫자가 줄어 가볍습니다. 따로 두면 숫자는 늘지만 훈련과 성능에 유리합니다. 요즘 LLM과 이 강의의 모델은 따로 둡니다.

그래서 앞으로 이 모델의 파라미터는 163,009,536개로 셉니다.