모델 준비

이번에는 한 단계 큰 GPT-2를 씁니다

10강에서는 오픈AI가 공개한 GPT-2 가운데 가장 작은 것으로 시작했습니다. 이번에는 가중치가 3억 5,500만 개인 중간 크기를 씁니다.

가중치는 모델 안에 든 숫자, 층은 모델 안에 쌓은 같은 부품의 수입니다. 가장 작은 것은 지시를 따르는 법까지 익히기에 작아서 한 단계 큰 것을 고릅니다.

실험

검증 세트의 첫 예제를 넣었습니다

3편의 틀에 맞춘 글입니다. 입력 칸이 없는 예제라 안내문과 지시만 들어갑니다.

능동태는 '요리사가 요리한다', 수동태는 '식사가 요리된다'처럼 말하는 방식입니다.

결과

문장을 그대로 베끼고 지시를 다시 씁니다

응답 이름표까지는 흉내 냈습니다. 그런데 문장을 수동태로 바꾸지 않고 그대로 옮겨 적었고, 이어서 지시를 다시 쓰기 시작했습니다.

원본 실습의 실제 출력입니다. 새 토큰을 35개까지만 쓰게 해서 중간에 끊겼습니다.

이유

아직 배운 것이 이어 쓰기뿐입니다

이 모델은 사전 훈련만 했습니다. 그럴듯한 글은 이어 쓰지만, 지시를 할 일로 읽는 법은 배운 적이 없습니다.

12강 정리

가르칠 준비가 끝났습니다

지시와 응답을 틀에 맞추고, 묶음으로 만들고, 꺼내 줄 데이터 로더까지 갖췄습니다.

다음 강에서

남은 두 단계는 13강에서 합니다

오늘 만든 데이터 로더로 이 모델을 훈련하고, 지시를 잘 따르게 됐는지 잽니다.