12강에서 만든 것

지시, 입력, 응답이 예제 하나입니다

시킬 일인 지시, 그 일의 대상인 입력, 모범 답인 응답입니다. 이 셋을 예제 하나라고 부르고, 모두 1,100개입니다.

모델에 넣는 모양

세 칸을 글 한 편으로 잇습니다

###로 시작하는 줄은 여기부터 지시, 여기부터 응답이라고 알려 주는 이름표입니다. 모델에 넣는 글을 프롬프트라고 합니다.

나눠 둔 것

1,100개를 셋으로 나눴습니다

모델이 배우는 데 쓰는 것은 훈련 세트 935개뿐입니다. 나머지는 잘 배웠는지 확인하려고 남겨 둡니다.

지금 모델에 지시를 넣으면

지시를 따라 쓰기만 합니다

바란 답은 'The meal is cooked every day by the chef.'(식사는 매일 요리사에 의해 요리된다)였습니다.

12강 끝에서 본 결과입니다. 이름표까지는 흉내 냅니다.

이유

이어 쓰기만 배웠기 때문입니다

이 모델이 미리 받은 훈련은 많은 글을 읽으며 뒤에 올 말을 잇는 연습이었습니다. 지시를 받으면 답해야 한다는 것은 배운 적이 없습니다.

이렇게 미리 해 둔 훈련을 사전 훈련이라고 합니다.

이번 강에서 할 일

남은 일은 네 가지입니다

이미 훈련한 모델을 지시 데이터로 더 훈련하는 것이 지시 미세 튜닝입니다. 훈련한 다음에는 잘됐는지 잽니다.