섞는 방법

가중치를 곱해서 전부 더합니다

각 단어 벡터의 첫째 숫자에 그 단어의 가중치를 곱해 더했습니다. 둘째, 셋째 숫자도 똑같이 합니다.

결과

journey의 문맥 벡터

journey 자신의 정보에 나머지 다섯 단어의 정보가 가중치만큼 섞였습니다. 다음 단계로 넘어가는 것은 이 새 벡터입니다.

다시 보기

여기까지가 세 단계입니다

1. 점수점곱으로 닮음을 잰다
2. 가중치소프트맥스로 합을 1로 맞춘다
3. 문맥 벡터가중치를 곱해 전부 더한다

나머지 단어는

같은 계산을 단어마다 반복합니다

단어를 눌러 기준을 바꿔 보세요. 여섯 단어가 각자 가중치 여섯 개를 가지므로 모두 36개입니다.

컴퓨터는

표 전체를 한 번에 계산합니다

1. scores = x @ x.T점수
2. weights = softmax(scores)가중치
3. context = weights @ x문맥 벡터

x는 단어 벡터 여섯 개를 쌓은 표이고, @는 행렬 곱셈 기호입니다. 단어마다 반복하던 계산이 세 줄로 끝납니다.