파운데이션 모델의 버릇

질문을 받아도 이어 쓰기를 합니다

4편에서 본 파운데이션 모델은 지시를 따르도록 배운 적이 없습니다. 질문도 이어 쓸 글의 앞부분으로 봅니다.

설명을 위해 만든 예시입니다. 실제로 무엇을 이어 쓸지는 그때그때 다릅니다.

두 번째 훈련

작은 데이터로 한 번 더 훈련합니다

파운데이션 모델을 레이블 있는 작은 데이터로 더 훈련하는 일이 미세 튜닝입니다. 언어는 이미 배웠으니 할 일에 맞추기만 하면 됩니다.

레이블은 사람이 붙인 정답 표시입니다.

왜 둘로 나눌까

귀한 정답은 조금만 씁니다

레이블 없는 글은 얼마든지 구할 수 있고, 레이블 있는 글은 만들기 어렵습니다. 그래서 큰 공부는 앞의 것으로 하고, 마무리만 뒤의 것으로 합니다.

종류 ① · 지시 미세 튜닝

시키면 그대로 하게 만듭니다

지시와 그에 맞는 정답을 짝지어 보여 줍니다. 그러면 이어 쓰기 대신 지시대로 답하게 됩니다.

그림의 지시와 정답은 예시입니다.

종류 ② · 분류 미세 튜닝

정해진 답에서 고르게 만듭니다

글과 레이블을 짝지어 보여 줍니다. 1편에서는 사람이 규칙을 적었지만, 여기서는 모델이 가르는 기준을 스스로 배웁니다.

스팸, 정상처럼 정해진 답의 종류 하나하나를 클래스라고 부릅니다.

실제 사례

ChatGPT도 이 순서로 나왔습니다

GPT-3는 2020년에 나온 파운데이션 모델입니다. 여기에 지시 미세 튜닝을 한 것이 ChatGPT의 초기 모델입니다.