훈련에 쓸 글

짧은 소설 한 편입니다

이디스 워튼의 단편 〈The Verdict〉입니다. 저작권이 끝난 글이고, 짧아서 몇 분이면 훈련해 볼 수 있습니다.

토큰은 글을 자른 조각입니다. 지금까지는 정답 여섯 칸만 봤고, 이제 토큰 5,145개 전체로 잽니다.

먼저 할 일

글을 9 대 1로 나눕니다

앞의 90%는 훈련 세트, 뒤의 10%는 검증 세트입니다. 모델은 검증 세트로는 배우지 않습니다.

나누는 이유

처음 보는 글에서도 잘하는지 봅니다

훈련 세트의 손실은 파라미터를 고치는 데 씁니다. 검증 세트의 손실은 재기만 합니다. 연습 문제와 시험 문제를 따로 두는 것과 같습니다.

모델에 넣는 단위

256개씩 잘라 두 줄씩 묶습니다

토큰 256개가 한 줄입니다. 두 줄을 묶은 것을 배치(묶음)라고 하고, 모델에는 한 번에 한 묶음씩 넣습니다.

256은 이 모델이 한 번에 읽는 최대 길이(문맥 길이)입니다. 원래 1,024인데 훈련을 가볍게 하려고 줄였습니다.

한 줄 안에서

자리마다 문제가 하나씩 나옵니다

2편에서 본 대로 정답은 바로 다음 토큰입니다. 256자리 모두에서 다음 토큰을 맞히므로 한 묶음에 문제가 512개이고, 손실은 그 전부의 평균입니다.

훈련 전에 재 보면

둘 다 11에 가깝습니다

훈련 세트 10.99, 검증 세트 10.98입니다. 둘이 거의 같고 찍는 수준만큼 높습니다. 아직 아무것도 배우지 않았다는 뜻입니다.

3편의 10.79는 정답 여섯 칸만 잰 값이고, 이번에는 글 전체를 잰 값이라 숫자가 조금 다릅니다.