답

다음 단어 맞히기 하나입니다

LLM은 글을 다루는 큰 언어 모델입니다. ChatGPT의 바탕이 되는 GPT가 대표입니다. 앞에 나온 단어들을 보고 바로 다음 단어 하나를 맞히는 문제를 수없이 풀면서 배웁니다.

문제를 풀고 틀린 만큼 고쳐 가는 과정을 훈련이라고 부릅니다.

이름

보여 주는 쪽이 입력, 맞힐 단어가 타깃

타깃은 목표라는 뜻이고, 여기서는 정답입니다. 입력이 한 단어 길어지면 타깃도 한 칸 뒤로 갑니다.

규칙

타깃 뒤쪽은 보여 주지 않습니다

모델은 왼쪽만 보고 오른쪽 한 단어를 맞힙니다. 뒤를 미리 보면 맞히기가 아니라 베끼기가 됩니다.

모델 안에서 실제로 뒤쪽을 가리는 방법은 5강에서 다룹니다.

좋은 점

정답은 글 안에 이미 있습니다

글을 어디에서 끊든 바로 다음 단어가 정답입니다. 사람이 정답을 따로 적어 줄 필요가 없습니다.

정답을 글에서 스스로 얻는 이런 방식을 자기 지도 학습이라고 부릅니다.

실제로는

단어가 아니라 토큰 번호로 풉니다

2강에서 글을 토큰이라는 조각으로 자르고 조각마다 번호를 붙였습니다. 이 번호가 토큰 ID입니다. 모델이 받는 것은 글자가 아니라 이 번호입니다.

소설 《The Verdict》의 한 구절이고, 번호는 GPT의 초기 모델인 GPT-2가 쓰는 번호표를 따랐습니다.