먼저 정리

헤드를 늘리면 두 방식이 다르게 움직입니다

6편 방식은 헤드마다 숫자 2개를 따로 만들어 붙입니다. 헤드가 늘면 결과가 길어집니다. 7편 방식은 전체 개수를 먼저 정해 두고 헤드들이 나눠 맡습니다. 헤드가 늘면 헤드 하나의 몫이 줄고 길이는 그대로입니다.

실제 모델은 7편 방식을 씁니다. 전체 개수를 헤드 수로 나눈 것이 헤드 하나의 몫입니다.

가장 작은 GPT-2

숫자 768개를 헤드 12개가 나눠 씁니다

단어 하나를 숫자 768개로 나타냅니다. 앞 장의 7편 방식대로 헤드 12개가 나눠 64개씩 맡습니다.

GPT-2는 크기가 여러 가지입니다. 가장 작은 것은 훈련으로 익히는 숫자, 곧 파라미터가 1억 2,400만 개입니다.

가장 큰 GPT-2

헤드 하나의 몫은 그대로 64입니다

가장 큰 GPT-2는 숫자 1,600개, 헤드 25개입니다. 1,600 ÷ 25도 64입니다. 전체 숫자 수와 헤드 수를 함께 늘려서 헤드 하나의 몫은 그대로 둡니다.

가장 큰 GPT-2의 파라미터는 약 15억 개입니다.

세어 보면

어텐션 부품 하나에 숫자 236만 개

가장 작은 GPT-2 크기로 이 부품을 만들면 훈련으로 익힐 숫자가 2,360,064개입니다.

출력 층은 768개가 더 많습니다. 결과에 더해 주는 값이 칸마다 하나씩 붙어 있기 때문입니다.

쌓을 수 있는 이유

들어온 크기 그대로 나갑니다

가장 작은 GPT-2는 단어마다 숫자 768개가 들어가 768개가 나옵니다. 그래서 출력을 다음 층에 그대로 넣을 수 있습니다.

층 사이에 들어가는 다른 부품은 다음 강의에서 봅니다.

5강 정리

여기까지 온 길