디코딩 전략과 가중치 로드

모델이 매긴 점수에서 다음 토큰을 고르는 방법을 바꿔 봅니다. 그리고 훈련한 모델을 파일로 저장하고, 공개된 GPT-2의 숫자를 불러와 씁니다. 8편으로 나눠 처음부터 따라갑니다.

  1. 1가장 높은 것만 고르면 될까?다음 토큰을 고르는 일 · 그리디 디코딩
  2. 2제비뽑기로 고른다확률대로 뽑기 · 샘플링
  3. 3온도를 올리면 생기는 일온도 스케일링
  4. 4pizza를 막는 법탑-k 샘플링
  5. 5손잡이 두 개로 글 쓰기온도와 탑-k를 합친 생성
  6. 6끄면 사라질까?모델 저장하고 불러오기
  7. 7남이 훈련한 숫자를 넣는다공개된 GPT-2 가중치 불러오기
  8. 8숫자만 바꿨는데결과 확인과 정리

예제와 수치는 Sebastian Raschka의 《Build a Large Language Model (From Scratch)》 5장을 따랐습니다.