먼저

같은 토큰은 한 번만 셉니다

토큰은 글을 나눈 조각입니다. 앞 편에서 소설 한 편을 4,690개로 나눴습니다. 쉼표는 229번, the는 168번 나옵니다. 이런 중복을 합치면 1,130개가 남습니다.

다음

줄을 세우고 0번부터 번호를 붙입니다

이 번호가 토큰 ID이고, 토큰과 번호를 짝지은 표가 어휘 사전입니다. 사전이라고 부르지만 뜻풀이는 없고 번호만 적혀 있습니다.

ID는 식별 번호라는 뜻입니다. 줄 세우는 순서는 컴퓨터가 글자를 정렬하는 기본 순서를 따랐습니다.

글에서 번호로

사전에서 찾아 번호로 바꿉니다

이 일을 인코딩이라고 합니다. 글이 숫자 줄로 바뀌었습니다.

번호에서 글로

거꾸로도 갈 수 있습니다

번호로 토큰을 찾는 일은 디코딩입니다. 모델은 답도 번호로 내놓기 때문에, 사람이 읽으려면 이 과정이 필요합니다.

한계

완벽하게 되돌아오지는 않습니다

나눌 때 빈칸을 버렸으므로 되돌릴 때 토큰 사이에 빈칸을 다시 넣습니다. 그러다 보니 없던 자리에도 빈칸이 들어갑니다.