훈련 손실

9.78에서 0.39로 내려갔습니다

6편에서 본 대로 1걸음째부터 5걸음마다 적어 둔 훈련 손실을 이은 선입니다. 1걸음째에 적은 값이 9.781, 마지막인 86걸음째가 0.391입니다.

훈련 전에는 10.99였습니다. 첫 걸음을 떼자마자 9.78로 내려왔습니다.

글도 달라집니다

쉼표에서 문장으로

에포크가 끝날 때마다 'Every effort moves you' 뒤를 잇게 했습니다. 왼쪽 숫자는 그 에포크에서 마지막으로 적은 훈련 손실입니다.

왜 쉼표부터일까

자주 나오는 것부터 배웁니다

쉼표는 이 소설에서 가장 많이 나오는 토큰이고, 쉼표 바로 뒤에 가장 자주 오는 것은 and입니다. 모델은 흔한 것부터 익힙니다.

원문의 토큰을 직접 세어 본 값입니다. 줄바꿈 표시는 뺐습니다.

확률로 되돌리면

정답에 주는 확률이 0.68이 됐습니다

손실을 만든 계산을 거꾸로 돌리면 정답에 준 확률의 평균적인 크기가 나옵니다. 손실 0.391은 0.68쯤, 훈련 전의 10.99는 0.00002쯤입니다.

직접 계산한 값입니다. 위쪽 막대는 모양만 보인 것입니다.

퍼플렉서티로 읽으면

후보가 한두 개로 줄었습니다

4편의 방법으로 손실을 퍼플렉서티로 바꿨습니다. 처음에는 후보 1만 7천 개를 두고 헷갈렸고, 마지막에는 1.5개입니다.

퍼플렉서티는 손실로 직접 계산한 값입니다.