연습 문제

LLM이 푸는 문제는 하나뿐입니다

문장의 앞부분을 보고 다음에 올 단어 하나를 맞힙니다. 틀리면 모델 안의 숫자를 조금 고치고 다시 풉니다. 훈련은 이 일의 되풀이입니다.

왜 이것으로 되는가

맞히려면 앞 내용을 알아야 합니다

'통장'과 '만들려고'를 알아봐야 '은행'이 나옵니다. 앞 단어가 바뀌면 답도 바뀝니다. 다음 단어를 잘 맞히게 되면 문맥을 읽는 힘이 함께 생깁니다.

답의 모양

답은 단어 하나가 아니라 확률입니다

후보마다 확률을 매기고 가장 높은 것을 고릅니다. 여기서는 87.6%인 word(단어)입니다.

확률은 원본 실습에서 가정한 점수로 계산한 값입니다.

글쓰기

고른 단어를 붙이고 다시 맞힙니다

고른 단어를 문장 뒤에 붙이고, 길어진 문장을 다시 넣어 그다음 단어를 고릅니다. LLM은 이렇게 한 번에 한 단어씩 글을 씁니다.

'여기서 끝'이라는 표시가 나오면 멈춥니다.

정확히는

단어가 아니라 토큰을 맞힙니다

토큰은 모델이 글을 읽는 단위입니다. 흔한 단어는 통째로 토큰 하나이고, 드문 단어는 여러 조각으로 쪼개집니다. 마침표도 토큰 하나입니다.

글을 토큰으로 나누는 방법은 2강에서 다룹니다.

세어 보면

한글은 더 잘게 쪼개집니다

한글 문장은 띄어쓰기까지 18자인데 토큰은 37개입니다. 토큰으로 나누는 도구가 아는 조각이 영어 위주라서, 한글은 글자 하나가 여러 토큰으로 나뉩니다.

GPT-2라는 모델이 쓰는 도구로 센 값입니다. 이 도구가 아는 조각은 50,257가지입니다.