번호는

번호는 이름표일 뿐입니다

번호는 번호표에 적힌 차례일 뿐입니다. 번호가 가깝다고 뜻이 가깝지 않고, 번호가 크다고 더 중요하지도 않습니다.

또 하나

번호는 조금 고칠 수가 없습니다

훈련은 숫자를 조금씩 고쳐 가며 정답에 가까워지는 과정입니다. 번호는 1만 바꿔도 전혀 다른 토큰이 됩니다.

291번 토큰은 ic라는 글자 조각입니다. 오른쪽 숫자 묶음은 예시 값입니다.

그래서

토큰마다 숫자 묶음을 하나씩 줍니다

숫자 여러 개를 한 줄로 묶은 것이 벡터입니다. 토큰마다 벡터를 하나씩 짝지어 주는 일, 그리고 그렇게 얻은 벡터를 임베딩이라고 부릅니다.

벡터의 숫자는 예시 값입니다.

숫자가 여러 개면

닮은 정도를 담을 수 있습니다

뜻이 가까운 토큰은 비슷한 벡터를, 뜻이 먼 토큰은 다른 벡터를 가질 수 있습니다. 번호 하나로는 할 수 없던 일입니다.

예시 값입니다. 벡터끼리 얼마나 닮았는지 재는 방법은 4강에서 다룹니다.

처음에는

벡터는 아무 숫자로 시작합니다

처음부터 뜻이 담겨 있지는 않습니다. 다음 단어 맞히기를 풀면서 조금씩 고쳐지고, 그 결과로 뜻이 담깁니다.

예시 값입니다. 훈련은 8강에서 다룹니다.

지금 위치

입력 준비의 마지막 단계입니다

2강에서 번호까지 만들었습니다. 번호를 벡터로 바꾸면 모델에 넣을 준비가 끝납니다.

HAD가 H와 AD로 나뉜 것처럼 토큰은 단어보다 잘게 잘리기도 합니다.