문제

본 문제로 시험을 치면 실력을 알 수 없습니다

훈련에 쓴 문자를 다시 물으면 외워서도 맞힐 수 있습니다. 스팸을 가려내는 법을 익혔는지는 처음 보는 문자로 물어야 알 수 있습니다.

해법

훈련 전에 셋으로 나눠 둡니다

훈련용으로 70%, 검증용으로 10%, 테스트용으로 20%를 떼어 둡니다. 이렇게 나눈 묶음을 세트라고 부릅니다.

세 세트의 쓰임

배우고, 중간에 살피고, 끝에 잽니다

모델은 훈련 세트만 보고 배웁니다. 검증 세트로는 훈련 도중에 점검하고, 테스트 세트는 끝까지 아껴 두었다가 마지막에 한 번 씁니다.

자르기 전에

먼저 섞어야 합니다

앞 편에서 정상 747통 뒤에 스팸 747통을 이어 붙였습니다. 그대로 자르면 검증과 테스트 세트에 스팸만 들어갑니다. 그래서 순서를 무작위로 섞은 다음에 자릅니다.

결과

1,045통, 149통, 300통

1,494통의 70%가 1,045통, 10%가 149통이고 나머지 300통이 테스트 세트입니다. 섞어서 잘랐기 때문에 세트마다 정상과 스팸이 거의 반반입니다.

70%와 10%를 계산할 때 소수점 아래는 버렸습니다.