분류 헤드와 훈련

글을 이어 쓰는 GPT의 끝부분을 바꿔 달고, 정답이 붙은 문자로 조금 더 훈련해 스팸 분류기를 완성합니다. 어디를 훈련할지 정하고, 정확도와 손실로 재고, 새 문자를 가려내는 데까지 9편으로 나눠 따라갑니다.

1. 1무엇을 바꿔야 스팸을 가려낼까?분류 미세 튜닝에서 할 일
2. 2답 5만 가지를 2가지로분류 헤드
3. 3어느 줄을 읽을까?마지막 토큰의 점수
4. 4전부 다시 훈련할까?얼릴 층과 훈련할 층
5. 5몇 통이나 맞혔을까?분류 정확도
6. 6얼마나 틀렸을까?분류 손실
7. 7650걸음 뒤, 달라졌을까?정답이 붙은 문자로 미세 튜닝
8. 8정말 배운 걸까?최종 평가와 확인 실험
9. 9이 문자는 스팸일까?스팸 분류기로 쓰기와 정리

예제 문자와 수치는 Sebastian Raschka의 《Build a Large Language Model (From Scratch)》 6장을 따랐습니다.