3단계 · 문맥 벡터

이제 진짜로 섞어 봅니다

섞는 방법

가중치를 곱해서 전부 더합니다

가중치가 큰 단어일수록 문맥 벡터에 많이 들어갑니다.

결과

journey의 문맥 벡터

journey 자신의 정보에 나머지 다섯 단어의 정보가 섞였습니다. 다음 단계로 넘어가는 것은 이 새 벡터입니다.

다시 보기

여기까지가 세 단계입니다

나머지 단어는

같은 계산을 단어마다 반복합니다

왼쪽 단어를 누르면 그 단어가 기준인 줄이 켜집니다. 가중치는 모두 36개입니다.

컴퓨터는

표 전체를 한 번에 계산합니다

단어마다 반복하던 계산이 몇 줄로 끝납니다.

x는 단어 벡터 여섯 개를 쌓은 표, x.T는 그 표를 눕힌 것, @는 표끼리 곱하는 기호입니다. 6×3은 여섯 줄 세 칸이라는 뜻입니다.

다음 편

그런데 이 어텐션은 아무것도 배우지 못합니다

7편쿼리, 키, 값 4강 목록