지금까지

우리 모델이 배운 것은 이어 쓰기입니다

GPT는 글을 받아 다음 토큰을 하나씩 붙입니다. 이 연습을 많은 글로 시킨 것이 사전 훈련입니다.

토큰은 글을 잘게 나눈 조각입니다. 그림의 글은 10강(스팸 문자 분류를 준비한 강)에서 모델이 실제로 이어 쓴 것으로, '모든 노력은 당신을 앞으로 나아가게 합니다'로 시작합니다.

하고 싶은 일

말로 시키면 그 일을 해 주는 모델

시키는 말을 지시, 모델이 내놓는 답을 응답이라고 합니다. 지시가 바뀌면 하는 일도 바뀝니다.

문제

지금 모델은 지시도 이어 쓸 글로 봅니다

이 모델이 배운 것은 다음 토큰 붙이기뿐입니다. 지시를 받아도 할 일이 아니라 이어 쓸 글의 앞부분으로 읽습니다.

10강에서 사전 훈련만 한 모델에게 '이 문자는 스팸입니까'라고 묻자, 답 대신 질문을 되풀이했습니다. 같은 까닭입니다. 실제로 시켜 본 결과는 8편에서 봅니다.

방법

지시와 모범 응답을 짝지어 더 훈련합니다

이미 훈련한 모델을 할 일에 맞춰 더 훈련하는 것이 미세 튜닝입니다. 지시와 응답의 짝으로 하면 지시 미세 튜닝입니다.

10강과 견주면

답이 딱지가 아니라 글입니다

10강의 분류 미세 튜닝은 문자가 스팸인지 정상인지, 정해 둔 답 가운데 하나를 고르게 하는 훈련이었습니다. 지시 미세 튜닝은 답을 글로 씁니다.

순서

세 단계 가운데 첫 단계를 합니다

이번 강은 데이터 준비까지입니다. 훈련과 평가는 13강에서 합니다.

묶음은 여러 예제를 한 덩어리로 묶은 것입니다. 예제는 지시와 응답의 짝 하나를 말합니다.