출발점

가장 작은 단위 256개에서 시작합니다

컴퓨터는 모든 글자를 바이트라는 작은 단위로 저장합니다. 바이트는 256가지뿐입니다. 이것을 전부 사전에 넣어 두면 어떤 글이든 적어도 이 단위로는 나타낼 수 있습니다.

BPE(바이트 페어 인코딩)는 앞 편에서 본, 단어를 더 작은 조각으로 나누는 방법입니다.

합치기

자주 붙어 나오는 쌍을 하나로 합칩니다

d와 e는 네 단어 모두에 나란히 나옵니다. 이런 쌍을 'de'라는 새 조각으로 사전에 올립니다.

훈련에 쓰는 글 전체를 훑어서 가장 자주 나오는 쌍을 고릅니다.

되풀이

합친 조각끼리 또 합칩니다

한 번에 한 쌍씩, 자주 나오는 것부터 합치기를 되풀이합니다. 흔한 단어는 결국 통째로 토큰 하나가 됩니다.

이름의 '바이트'는 출발점을, '페어(쌍)'는 쌍을 합치는 일을 가리킵니다. 그림에서 합치는 순서는 예시입니다.

언제 멈추나

정해 둔 크기가 되면 멈춥니다

GPT-2는 바이트 256개에서 출발해 합친 조각 50,000개를 더 만들었습니다. 거기에 끝 표시 1개를 더한 것이 앞 편에서 본 50,257개입니다.

결과

흔한 말은 짧게, 낯선 말은 잘게

자주 쓰는 단어는 토큰 하나로 끝납니다. 드문 글자 조합은 합쳐진 적이 없어서 잘게 나뉩니다. 사전을 끝없이 키우지 않고도 모든 글을 다룰 수 있습니다.

2강 정리

여기까지 온 길