2단계 · 어텐션 가중치
점수 1.50은 몇 퍼센트일까요?
왜 필요한가
점수만으로는 섞을 수 없습니다
섞으려면 각 단어가 전체 중 얼마를 차지하는지 알아야 합니다. 그래서 점수 여섯 개를 합이 1이 되는 비율로 바꿉니다.
이렇게 합을 1로 맞추는 일을 정규화라고 합니다.
쉬운 방법
전체 합으로 나누면 됩니다
여섯 점수의 합6.5617
journey의 점수1.4950
1.4950 ÷ 6.56170.2278
journey는 전체의 약 23%입니다. 여기까지는 문제가 없어 보입니다.
문제
점수에 음수가 있으면 깨집니다
점수2, −1
합1
합으로 나눈 비율2.0, −1.0
200%와 −100%가 나왔습니다. 비율로 읽을 수 없는 값입니다. 점곱은 음수가 될 수 있어서 실제로 생기는 일입니다.
해법 · 소프트맥스
나누기 전에 e의 거듭제곱으로 바꿉니다
점수2, −1
e의 거듭제곱7.39, 0.37
합으로 나눈 비율0.95, 0.05
e는 약 2.718인 수입니다. 어떤 수를 올려도 결과가 양수라서, 점수가 음수여도 비율은 항상 양수가 됩니다.
결과
journey 기준 가중치 여섯 개
모두 양수이고, 더하면 1입니다. 이 값이 어텐션 가중치입니다.
이름 정리
점수와 가중치는 다른 값입니다
- 점수
- 점곱으로 구한 값범위가 정해져 있지 않다
- 가중치
- 소프트맥스를 거친 값모두 양수, 합은 1
다음 편