지시 데이터셋 구축

글을 이어 쓰는 GPT를 시키는 일을 해 주는 모델로 바꾸려면 먼저 가르칠 자료가 있어야 합니다. 지시와 모범 응답을 틀에 맞추고, 길이를 맞춰 묶고, 꺼내 줄 데이터 로더를 만드는 데까지 8편으로 나눠 따라갑니다.

  1. 1시키면 하는 모델은 어떻게 만들까?지시 미세 튜닝이 필요한 이유
  2. 2지시, 입력, 응답지시 데이터의 생김새 · 1,100개와 세 세트
  3. 3세 칸을 글 한 덩어리로프롬프트 형식 맞추기
  4. 4길이가 다른 예제를 한 표에패딩 · 묶음마다 길이 맞추기
  5. 5정답은 한 칸 옆에 있다정답 줄(타깃) 만들기
  6. 6채점하지 않는 칸손실에서 빼는 표시 · -100
  7. 7여덟 개씩 꺼내는 데이터 로더지시 데이터용 데이터 로더
  8. 8지금 시켜 보면?미세 튜닝 전 확인과 정리

예제와 수치는 Sebastian Raschka의 《Build a Large Language Model (From Scratch)》 7장을 따랐습니다.