지시 데이터의 생김새
지시를 따르는 법은 무엇을 보여 주며 가르칠까요?
재료
지시와 모범 응답의 짝 1,100개
지시 하나에 모범 응답 하나를 짝지은 것을 예제라고 부르겠습니다. 모두 1,100개입니다.
이렇게 모은 자료를 데이터셋이라고 합니다. 원본 책이 실습용으로 만든 작은 자료이고, 실제로는 수만 개 넘게 씁니다.
하나를 열어 보면
예제 하나는 세 칸입니다
지시는 시킬 일, 입력은 그 일의 대상, 응답은 모범 답입니다.
자료에는 instruction, input, output이라는 영어 이름으로 적혀 있습니다.
입력이 없는 예제
입력 칸은 비어 있기도 합니다
지시만으로 할 일이 다 정해지면 입력은 비워 둡니다. 1,100개 가운데 775개가 그렇습니다.
775개와 325개는 원본 자료를 직접 세어 본 값입니다.
응답의 쓰임
모범 응답이 정답 노릇을 합니다
지시와 입력을 넣고, 모델이 쓴 글이 모범 응답과 같아지도록 모델을 조금씩 고쳐 갑니다.
칸 하나가 토큰(글을 잘게 나눈 조각) 하나입니다. 칸의 수와 맞아 가는 순서는 설명을 위한 예시입니다.
나누기
935개, 55개, 110개로 나눕니다
훈련 세트로 배우고, 검증 세트로 훈련 도중에 살피고, 테스트 세트로 끝난 뒤에 실력을 잽니다.
이렇게 나눈 것 하나하나를 세트라고 부릅니다. 10강의 스팸 문자는 70 · 10 · 20%로 나눴습니다. 비율은 자료에 맞춰 정합니다.
다음 편