먼저

점수를 가능성으로 바꿉니다

4강에서 쓴 소프트맥스입니다. 점수들을 더해서 100%가 되는 비율로 바꿉니다. 3편에서 읽은 마지막 줄의 점수를 넣었습니다.

8강에서 확률이라고 부른 것입니다. 0.05%와 99.95%는 설명을 위해 직접 계산한 값입니다.

손실

정답에 준 가능성이 낮을수록 큽니다

정답에 100%를 주면 손실은 0입니다. 정답에 준 가능성이 0에 가까워질수록 손실은 빠르게 커집니다.

교차 엔트로피 손실이라고 부릅니다. 8강에서 다음 토큰을 맞힐 때 쓴 것과 같은 계산입니다.

정확도와 견주면

조금만 나아져도 손실은 줄어듭니다

그래서 훈련은 손실이 줄어드는 쪽으로 가중치를 고칩니다. 정확도는 그 결과로 따라 오릅니다.

사전 훈련과 견주면

달라진 것은 두 가지뿐입니다

글을 이어 쓰게 하던 사전 훈련에서는 줄마다 다음 토큰을 맞혔습니다. 지금은 후보가 2가지이고, 마지막 줄 하나만 정답과 견줍니다. 손실을 계산하는 방법은 그대로입니다.

훈련 전에 재 보면

손실이 2를 넘습니다

두 답에 50%씩만 줘도 손실은 0.69입니다. 그보다 훨씬 크니, 틀린 답에 높은 가능성을 줄 때가 많다는 뜻입니다. 손실은 세트마다 40통으로 쟀습니다. 5편의 정확도는 80통이었습니다.

몇 통으로 잴지는 실습에서 정해 둔 값입니다. 0.69는 직접 계산한 기준값입니다.