데이터 샘플링과 임베딩

글에서 '다음 단어 맞히기' 문제를 뽑아내고, 토큰 번호를 모델이 계산할 수 있는 숫자 묶음으로 바꾸는 방법입니다. 8편으로 나눠 처음부터 따라갑니다.

1. 1LLM은 무엇을 공부할까?다음 단어 맞히기, 입력과 타깃
2. 2창문을 밀며 문제를 뽑는다슬라이딩 윈도
3. 3몇 칸씩 옮기고 몇 줄씩 묶을까스트라이드와 배치
4. 4번호로는 왜 계산할 수 없을까?임베딩이 필요한 이유
5. 5표에서 한 줄 꺼내기토큰 임베딩과 룩업
6. 6순서를 바꿔도 같은 벡터?토큰 임베딩의 빈틈
7. 7자리마다 벡터를 더한다위치 임베딩
8. 8모델에 들어가는 것입력 임베딩 완성과 정리

예제 문장과 수치는 Sebastian Raschka의 《Build a Large Language Model (From Scratch)》 2장을 따랐습니다.