텍스트 토큰화

글을 작은 조각으로 나누고 조각마다 번호를 붙이는 방법입니다. LLM이 글을 읽기 전에 반드시 거치는 준비 단계이고, 8편으로 나눠 처음부터 따라갑니다.

1. 1글자는 왜 숫자가 되어야 할까?임베딩이 필요한 이유
2. 2벡터의 숫자는 누가 정할까?임베딩 공간과 차원
3. 3문장은 어디서 자를까?토큰화
4. 4토큰에 번호 붙이기어휘 사전과 토큰 ID
5. 5사전에 없는 단어를 만나면?모르는 단어를 뜻하는 특수 토큰
6. 6글의 끝은 어떻게 알릴까?끝 표시와 그 밖의 특수 토큰
7. 7쪼개면 모르는 단어가 없다바이트 페어 인코딩(BPE)
8. 8조각은 누가 정할까?BPE 사전을 만드는 원리와 정리

예제 문장과 수치는 Sebastian Raschka의 《Build a Large Language Model (From Scratch)》 2장을 따랐습니다.