지시 미세 튜닝과 평가

사전 훈련된 GPT-2를 지시 데이터로 더 훈련해 지시를 따르게 만듭니다. 그리고 모델이 쓴 응답을 모아 다른 LLM에게 채점을 맡깁니다. 8편으로 나눠 처음부터 따라갑니다.

1. 1지시를 따르게 하려면 무엇이 남았을까?지시 미세 튜닝이 필요한 이유
2. 2왜 더 큰 모델을 쓸까?사전 훈련된 더 큰 모델 불러오기
3. 3지시 따르기는 어떻게 가르칠까?지시 데이터로 미세 튜닝하기
4. 4232걸음 뒤, 손실은?손실이 줄어드는 모습
5. 5처음 보는 지시를 내면?모델의 응답을 뽑아 저장하기
6. 6정답과 다르면 틀린 걸까?응답을 평가하기 어려운 이유
7. 7LLM이 LLM을 채점한다미세 튜닝한 모델 평가하기
8. 8여기까지 만든 것, 그리고 다음마무리와 다음 단계

예제와 수치는 Sebastian Raschka의 《Build a Large Language Model (From Scratch)》 7장을 따랐습니다.