답

문장을 봐야 압니다

글자는 같은데 뜻은 셋입니다. 뜻을 정해 주는 것은 주변 단어입니다.

그런데 모델에게는

'배'가 늘 같은 숫자입니다

LLM은 단어를 벡터, 곧 숫자 묶음으로 바꿔서 다룹니다. 같은 단어는 어느 문장에서나 같은 벡터가 됩니다.

벡터의 숫자는 예시입니다.

셀프 어텐션이 하는 일

주변 단어의 정보를 섞어 넣습니다

섞고 난 새 벡터가 문맥 벡터입니다.

벡터의 숫자는 예시입니다.

핵심

얼마나 섞느냐가 전부입니다

이 섞는 비율이 2편에서 본 어텐션 가중치입니다.

계산 순서

세 단계로 구합니다

예제

이 문장 하나로 끝까지 따라갑니다

단어마다 숫자 3개짜리 벡터를 줍니다. 이제 journey의 문맥 벡터를 구합니다.

실제 모델은 단어 하나에 숫자를 수백, 수천 개 씁니다.