재료

소설 한 편이 번호 5,145개가 됩니다

글을 토큰으로 자르고 번호를 붙이면 번호가 한 줄로 길게 늘어섭니다. 이 줄에서 문제를 뽑습니다.

토큰은 단어보다 잘게 잘리기도 해서 단어 수보다 조금 많습니다.

입력

네 칸짜리 창문을 댑니다

창문에 들어온 번호 네 개가 입력입니다. 창문의 칸 수는 모델에게 한 번에 보여 줄 토큰 수이고, 문맥 길이라고 부릅니다.

1편에서 본 소설 중간의 구절입니다. 4는 눈으로 보기 쉽게 잡은 값이고 실제 모델은 훨씬 깁니다.

타깃

타깃은 창문을 한 칸 민 것입니다

창문을 오른쪽으로 한 칸 옮겨 얻은 네 개가 타깃입니다. 가운데 세 번호는 입력에도 타깃에도 들어 있습니다.

창문 하나에

문제가 네 개 들어 있습니다

입력을 한 칸씩 늘릴 때마다 바로 다음 번호가 정답이 됩니다.

옮기기

창문을 옮기면 새 쌍이 나옵니다

이렇게 창문을 밀어 가며 입력과 타깃 쌍을 뽑는 방식이 슬라이딩 윈도입니다. 미끄러지는 창문이라는 뜻입니다.

이번 번호는 소설 맨 앞 토큰들입니다.

끝까지 밀면

창문 자리가 5,141개 나옵니다

맨 끝에서도 창문 네 칸 뒤에 타깃 한 칸이 남아야 합니다. 그래서 창문의 첫 칸은 뒤에서 넷을 뺀 5,141곳에만 놓을 수 있습니다.

자리마다 문제가 네 개씩 들어 있습니다.