최종 평가와 확인 실험
처음 보는 문자도 잘 가려낼까요?
전부 넣어 보면
46%에서 97%로
이번에는 세 세트를 통째로 넣어 쟀습니다. 훈련 세트 97.21%, 검증 세트 97.32%, 테스트 세트 95.67%입니다. 7편의 100%는 40통만으로 잰 값이라 조금 다릅니다.
훈련 전의 값은 5편에서 80통으로 잰 것입니다.
테스트 세트
처음 보는 300통 가운데 287통
테스트 세트는 훈련에도, 도중 점검에도 쓰지 않았습니다. 처음 보는 문자도 잘 가려내니, 답을 외운 것이 아니라 가려내는 법을 익힌 것입니다.
287은 95.67%에서 거꾸로 계산한 값입니다. 어느 문자를 틀렸는지는 그림에 임의로 표시했습니다.
확인 실험 ①
첫 줄을 읽게 하면 77%
3편에서 마지막 줄을 고른 이유를 확인해 봅니다. 첫 토큰의 줄을 읽도록 똑같이 훈련하면 테스트 정확도가 77.00%에 그칩니다.
첫 토큰은 자기만 볼 수 있어서 문자의 나머지 내용을 모릅니다.
확인 실험 ②
전부 풀어도 거의 같습니다
4편에서 뒤쪽만 푼 이유도 확인합니다. 가중치를 전부 풀어 훈련하면 테스트 정확도는 조금 오르지만, 시간은 두 배 넘게 걸립니다.
시간은 그래픽 카드 없이 같은 컴퓨터에서 잰 값입니다.
다음 편