생성 평가와 사전 훈련

조립을 마친 GPT가 쓴 글이 얼마나 틀렸는지 숫자로 재고, 그 숫자가 줄어들도록 훈련합니다. 손실, 퍼플렉서티, 훈련 세트와 검증 세트, 과대적합을 8편으로 나눠 따라갑니다.

1. 1방금 만든 GPT에게 글을 시키면?훈련 전 모델이 내는 글
2. 2틀린 정도를 숫자로 잴 수 있을까?정답 토큰의 확률
3. 30.00007 여섯 개를 숫자 하나로로그와 교차 엔트로피 손실
4. 4손실 10.79는 얼마나 나쁜 걸까?퍼플렉서티
5. 5연습 문제로 시험을 보면?훈련 세트와 검증 세트
6. 6훈련은 무엇을 되풀이할까?훈련 루프
7. 790걸음 뒤, 모델은 달라졌을까?손실이 줄어드는 모습
8. 8손실 0.39, 다 배운 걸까?과대적합과 정리

예제 문장과 수치는 Sebastian Raschka의 《Build a Large Language Model (From Scratch)》 5장을 따랐습니다.