2단계 · 어텐션 가중치
점수 1.50은 몇 퍼센트일까요?
왜 필요한가
점수만으로는 섞을 수 없습니다
섞으려면 각 단어가 전체 중 얼마인지 알아야 합니다. 그래서 합이 1이 되는 비율로 바꿉니다.
합을 1로 맞추는 일을 정규화라고 합니다.
쉬운 방법
전체 합으로 나누면 됩니다
여기까지는 문제가 없어 보입니다.
문제
점수에 음수가 있으면 깨집니다
200%와 −100%는 비율로 읽을 수 없습니다. 점곱은 음수가 될 수 있어서 실제로 생기는 일입니다.
해법 · 소프트맥스
나누기 전에 e의 거듭제곱으로 바꿉니다
점수 2와 −1을 바꾸면 7.39와 0.37입니다. 둘 다 양수라서 합으로 나누면 0.95와 0.05, 제대로 된 비율이 됩니다. 이 계산이 소프트맥스입니다.
e는 약 2.718인 수입니다. e의 거듭제곱은 어떤 점수를 넣어도 양수가 나오는 계산이라고만 알아도 됩니다.
결과
journey 기준 가중치 여섯 개
이 값이 어텐션 가중치입니다.
이름 정리
점수와 가중치는 다른 값입니다
다음 편