10강에서 준비한 것

재료 세 가지는 이미 있습니다

스팸인지 정상인지 정답을 붙인 문자, 길이를 맞추는 방법, 글을 이어 쓸 줄 아는 GPT-2입니다.

정상은 스팸이 아닌 보통 문자입니다. 토큰은 글을 잘게 나눈 조각, 패딩은 빈자리를 채워 길이를 맞추는 일, 가중치는 모델 안에 든 숫자입니다.

그대로 물어보면

질문을 따라 쓰기만 합니다

10강에서 본 결과입니다. 모델은 답하지 않고 질문에 나온 말을 다시 씁니다.

이유

할 줄 아는 일이 다음 토큰 고르기뿐입니다

모델의 출력은 토큰 50,257가지 가운데 하나를 고르도록 만들어져 있습니다. 우리에게 필요한 답은 정상과 스팸, 두 가지뿐입니다.

방법

끝만 바꾸고 조금 더 훈련합니다

이미 훈련된 모델을 새 일에 맞게 조금 더 훈련하는 것이 미세 튜닝입니다. 글을 종류로 가려내게 하므로 분류 미세 튜닝이라고 합니다.

이번 강의 순서

바꿔 달고, 재고, 훈련하고, 써 봅니다