되짚기 · 채점

칸마다 틀린 정도를 구해 평균을 냅니다

손실은 모델이 틀린 정도를 나타내는 숫자입니다. 정답에 준 확률이 낮을수록, 곧 틀릴수록 큽니다. 칸마다 구해서 평균을 냅니다.

8강(훈련하며 손실을 처음 잰 강)에서 본 교차 엔트로피 손실입니다. 계산 방법은 몰라도 됩니다. 숫자는 원본 실험의 값에서 나온 것입니다.

문제

채우느라 생긴 칸까지 평균에 섞입니다

손실은 칸마다 틀린 정도를 재서 평균 낸 숫자였습니다. 그런데 50256 여덟 칸 가운데 줄마다 첫 번째만 진짜 끝 표시이고, 나머지 5칸은 빈자리를 채우느라 생긴 것입니다. 지금대로라면 이 5칸도 평균에 들어갑니다.

해법

채점하지 않을 칸에 -100을 적습니다

-100은 토큰 번호가 아닙니다. '이 칸은 채점하지 않는다'고 알리는 표시입니다.

토큰 번호는 0부터 50256까지라 -100과 겹칠 일이 없습니다. 손실을 구하는 도구가 정답이 -100인 칸을 건너뛰도록 만들어져 있습니다.

확인

-100인 칸은 없는 칸으로 칩니다

칸을 하나 더하면 손실이 1.1269에서 0.7936으로 바뀝니다. 그 칸의 정답을 -100으로 적으면 다시 1.1269입니다.

원본 실험의 실제 결과입니다. 칸 안의 숫자는 그 칸의 손실(틀린 정도)이고, 2번 장의 두 칸과 같은 값입니다.

하나는 남긴다

끝 표시는 가리지 않습니다

줄마다 첫 번째 50256은 예제가 여기서 끝난다는 진짜 정답입니다. 이것까지 가리면 모델은 언제 멈출지 배우지 못합니다.

원본 실습에서 실제로 나온 표입니다.

정리

채우고, 당기고, 가립니다

묶음 하나를 만들 때 하는 일은 이 세 가지입니다.

지시 부분의 정답까지 -100으로 가려 응답만 채점하는 방법도 있습니다. 효과는 연구마다 의견이 갈리고, 여기서는 쓰지 않습니다.