먼저 복습

가중치는 6×6 표에 들어 있습니다

줄은 기준 단어, 칸은 그 단어가 다른 단어를 보는 비율입니다. 이 비율이 어텐션 가중치이고 줄마다 합이 1입니다.

4강과 숫자가 다른 것은 점수를 매길 때 쓰는 W 표를 새로 무작위로 채웠기 때문입니다.

가릴 곳

대각선 오른쪽 위가 뒤에 오는 단어입니다

대각선은 자기 자신을 보는 칸입니다. 그 오른쪽을 줄마다 세면 5, 4, 3, 2, 1칸, 모두 15칸입니다.

가리는 방법

1과 0으로 된 표를 곱합니다

같은 자리끼리 곱하면 1을 곱한 칸은 그대로 남고 0을 곱한 칸은 0이 됩니다. 이 표가 코잘 마스크입니다.

문제

줄의 합이 1보다 작아집니다

가중치는 섞는 비율이라 합이 1이어야 합니다. 가리고 나니 남은 두 칸의 합이 0.37입니다.

고치기

남은 값을 그 합으로 다시 나눕니다

Your 0.55, journey 0.45. 합이 다시 1입니다.

합을 1로 맞추는 일을 정규화라고 합니다. 4강 5편에서 본 '합으로 나누기'와 같습니다.

결과

모든 줄에 하면 계단 모양이 됩니다

이 표가 코잘 어텐션의 가중치입니다. 첫 줄 Your는 볼 단어가 자기뿐이라 1.00입니다.