지나온 길

세 단계를 모두 지났습니다

1강에서 본 순서 그대로입니다. 모델을 조립하고, 많은 글로 사전 훈련하고, 쓰임새에 맞게 미세 튜닝했습니다.

13강 정리

이번 강에서 한 일

큰 모델을 불러와 지시 데이터로 훈련하고, 처음 보는 지시에 대한 응답을 모아 다른 LLM에게 채점을 맡겼습니다.

더 해 볼 것 ①

더 많은 데이터로 훈련하기

이번 강의 지시 데이터는 1,100개였습니다. 스탠퍼드 연구진이 공개한 알파카 데이터셋은 52,002개로 약 47배이고, 글 하나하나도 더 깁니다.

1편에서 본 프롬프트 형식이 이 알파카 데이터셋의 형식입니다. 양이 많아서 GPU로 훈련하는 편이 좋습니다.

더 해 볼 것 ②

사람이 고른 답 쪽으로 맞추기

지시 미세 튜닝 뒤에 한 단계를 더 두기도 합니다. 사람이 더 좋아하는 답을 내도록 맞추는 선호도 미세 튜닝입니다.

그림의 지시와 두 답은 설명을 위해 지어낸 예시입니다.

남은 강의

부록 두 강이 남았습니다

책의 본문은 여기까지이고, 14강과 15강은 부록입니다. 14강은 훈련을 더 안정되게 하는 방법, 15강의 LoRA는 작은 덧붙임만 훈련해 미세 튜닝을 가볍게 하는 방법입니다.

학습률은 가중치를 한 번에 고치는 폭입니다. LoRA는 로라라고 읽습니다.

맺음말

밑바닥부터 직접 쌓았습니다

책의 지은이는 밑바닥부터 만들어 보는 것이 LLM이 움직이는 원리를 이해하는 가장 좋은 방법이라고 말합니다.

이 분야는 빠르게 바뀝니다. 새 연구는 아카이브(arXiv)라는 논문 저장소에 가장 먼저 올라옵니다.