보통의 훈련

원래는 사람이 정답을 붙입니다

글마다 붙인 정답 표시를 레이블이라고 합니다. 사람이 하나씩 붙여야 해서 시간과 돈이 들고, 많이 만들기 어렵습니다.

글의 특징

글에는 정답이 이미 들어 있습니다

문장을 아무 데서나 끊으면 바로 다음 단어가 정답입니다. 사람이 따로 붙일 것이 없습니다.

자기 지도 학습

문장 하나에서 문제가 9개 나옵니다

이렇게 글 자체에서 정답을 만들어 배우는 방식을 자기 지도 학습이라고 합니다.

원본 실습의 예문입니다. 뜻은 '모델은 그저 다음 단어를 맞히도록 훈련된다'입니다.

첫 번째 훈련

이 훈련이 사전 훈련입니다

레이블 없는 많은 글로 다음 단어 맞히기를 시키는 것이 사전 훈련입니다. 이렇게 나온 모델을 파운데이션 모델이라고 부릅니다.

파운데이션은 토대라는 뜻입니다. 이 위에 여러 쓰임새를 올린다는 뜻으로 붙인 이름입니다.

파운데이션 모델이 하는 일

쓰다 만 글을 이어 씁니다

연습한 것이 다음 단어 맞히기였으니, 할 줄 아는 것도 글 이어 쓰기입니다. 질문에 답하거나 지시를 따르는 법은 아직 배운 적이 없습니다.