돌아보면

앞 편은 나누기를 두 번 했습니다

소프트맥스는 점수를 합이 1인 비율로 바꾸는 계산이고, 그 안에 '합으로 나누기'가 들어 있습니다. 가리기를 먼저 하면 나누기는 한 번이면 됩니다.

원리

점수가 −∞이면 결과는 0입니다

소프트맥스는 점수를 먼저 이 곡선에 넣습니다. 점수가 작을수록 결과가 0에 붙는 곡선입니다. −∞를 넣으면 정확히 0이 나옵니다.

4강 5편에서 본 곡선이고, 이름은 e의 거듭제곱입니다. e는 약 2.718인 수입니다.

해 보면

가리기와 합 맞추기가 한 번에 끝납니다

뒤 단어 넷은 0이 되어 합에 끼지 못합니다. 남은 둘만으로 합이 1이 됩니다.

확인

두 방법의 결과는 똑같습니다

단계가 적은 이번 편의 방법을 실제로 씁니다.

언제 켜 두나

코잘 마스크는 늘 켜 둡니다

모델이 글을 쓸 때는 뒤 단어가 아직 없습니다. 훈련할 때도 뒤를 가려야 같은 조건에서 연습하게 됩니다.