이름 풀이

글을 쓰도록 미리 훈련한 트랜스포머

이름 세 글자에 지금까지 본 내용이 들어 있습니다.

두 갈래

트랜스포머를 반씩 가져갔습니다

읽는 쪽인 인코더만 쓴 모델이 BERT이고, 쓰는 쪽인 디코더만 쓴 모델이 GPT입니다.

BERT(버트)는 감성 분석처럼 글을 분류하는 일에 강한 모델입니다.

훈련 방법의 차이

빈칸 채우기와 이어 쓰기

BERT는 다 주어진 문장에서 가려진 단어를 맞히므로 앞뒤를 모두 봅니다. GPT는 뒤가 아직 없으니 앞만 보고 다음 단어를 씁니다.

예문 뜻은 '이것은 내가 얼마나 간결할 수 있는지 보여 주는 예다'입니다.

GPT의 구조

읽을 원문이 따로 없어서 디코더만 씁니다

인코더는 번역처럼 따로 읽을 원문이 있을 때 필요합니다. GPT는 사용자가 넣은 글과 자기가 쓴 글을 한 줄로 이어서 다루므로 디코더만으로 충분합니다.

글 쓰는 방식 · 자기회귀

자기가 쓴 글을 다시 읽습니다

2편에서 본 '붙이고 다시 맞히기'입니다. 자기가 낸 출력을 다시 자기 입력으로 쓰는 방식을 자기회귀라고 합니다.

매번 지금까지 쓴 글 전체를 보기 때문에 앞뒤가 어긋나지 않습니다.

크기

디코더 층을 96개 쌓았습니다

층의 기본 모양은 원본 트랜스포머와 같습니다. 층 수와 숫자 묶음의 크기를 키운 결과가 3편에서 본 파라미터 1,750억 개입니다.

GPT-3는 2020년 모델이지만, 지금의 모델도 이 구조와 이 글쓰기 방식을 그대로 씁니다.