첫째 · 파라미터

모델 안에는 손잡이가 있습니다

신경망은 입력 숫자에 다른 숫자를 곱하고 더해서 출력을 냅니다. 이때 곱하는 숫자 하나하나가 파라미터입니다. 모델이 배운 것은 모두 이 숫자들에 담깁니다.

파라미터는 가중치라고도 부릅니다.

파라미터의 수

GPT-3는 1,750억 개입니다

GPT-2의 가장 작은 모델이 약 1.24억 개입니다. GPT-3는 그 1,400배쯤입니다.

GPT-2와 GPT-3는 OpenAI라는 회사가 만든 LLM의 이름입니다. 7편에서 다시 나옵니다.

둘째 · 훈련 데이터

읽은 글은 3,000억 토큰입니다

대부분 인터넷에 공개된 글입니다. 모아 둔 4,990억 토큰을 섞어서 훈련하는 동안 3,000억 토큰을 읽혔습니다.

토큰은 2편에서 본, 모델이 글을 읽는 단위입니다. 영어는 대체로 단어 하나가 토큰 하나입니다.

양만이 아니라

좋은 글은 더 자주 읽혔습니다

'골라낸 웹'은 품질이 좋은 글만 모은 것입니다. 모아 둔 양으로는 가느다란 조각인데 훈련에서는 22%를 차지합니다. 여러 번 되풀이해 읽혔기 때문입니다.

비용

이 훈련 한 번에 수십억 원이 듭니다

약 460만 달러는 GPT-3를 처음부터 훈련하는 데 드는 컴퓨터 사용료를 추정한 값입니다. 개인이나 작은 조직이 감당하기 어렵습니다.

정리

둘이 함께 커야 합니다

파라미터만 늘리면 담을 내용이 없고, 데이터만 늘리면 담을 자리가 없습니다. 두 값이 함께 커진 것이 '대규모'의 뜻입니다.