로그를 되돌리면

10.79가 48,725가 됩니다

손실은 로그를 씌워 만든 숫자입니다. 로그를 되돌리면 감이 오는 크기가 됩니다. 이 값을 퍼플렉서티라고 부릅니다.

되돌리는 계산은 약 2.718인 수 e를 손실만큼 거듭 곱하는 것입니다. 퍼플렉서티는 혼잡도라고도 옮깁니다.

뜻

후보 몇 개를 두고 헷갈리는가

후보 6개를 똑같이 헷갈리면 손실은 1.79이고, 로그를 되돌리면 다시 6입니다. 퍼플렉서티는 모델이 헷갈리는 후보의 수로 읽을 수 있습니다.

손실은 직접 계산한 값입니다.

우리 모델

5만 개 중 4만 8천 개를 두고 헷갈립니다

모델이 아는 토큰 전부, 곧 어휘 50,257개 가운데 48,725개를 두고 고민한다는 뜻입니다. 거의 전부입니다. 아무것도 모르고 찍는 것과 다르지 않습니다.

견주어 보면

잘 맞히는 모델은 2.4입니다

2편의 작은 예는 정답에 0.60, 0.35, 0.34를 줬습니다. 같은 방법으로 계산하면 손실 0.88, 퍼플렉서티 2.4입니다. 후보 7개를 두세 개로 좁혔다는 뜻입니다.

책의 예시 확률로 직접 계산한 값입니다.

두 눈금

손실이 내려가면 후보도 줄어듭니다

둘은 같은 내용을 다른 눈금으로 읽은 것입니다. 손실이 0이면 퍼플렉서티는 1, 후보가 하나뿐이라는 뜻입니다. 둘 다 낮을수록 좋습니다.