분류 정확도
모델이 스팸을 잘 가려내는지 숫자 하나로 말할 수 있을까요?
재는 법
맞힌 개수를 전체 개수로 나눕니다
모델의 답을 정답과 하나씩 견줍니다. 전체 가운데 맞힌 비율이 정확도입니다.
그림은 예시입니다.
훈련 전에 재 보면
80통 가운데 37통을 맞혔습니다
빨리 재려고 훈련 세트에서 8통씩 10묶음, 80통만 넣어 봤습니다. 37 ÷ 80 = 46.25%입니다.
어느 문자를 맞혔는지는 그림에 임의로 표시했습니다.
세 세트 모두
어디서 재도 절반 아래입니다
10강에서 나눈 세 세트입니다. 훈련 세트로 배우고, 검증 세트로 도중에 살피고, 테스트 세트로 마지막에 잽니다. 셋 다 80통씩으로 쟀습니다.
50%의 뜻
찍기만 해도 절반은 맞습니다
10강에서 스팸과 정상 문자를 747통씩 같은 수로 맞춰 두었습니다. 그래서 한 가지로만 답해도 절반은 맞습니다. 지금 모델은 찍는 것과 다르지 않습니다.
정확도의 약점
얼마나 틀렸는지는 알려 주지 않습니다
스팸일 가능성을 1%로 봤든 49%로 봤든 똑같이 '틀림'입니다. 조금 나아져도 정확도는 그대로라, 어느 쪽으로 고쳐야 할지 알 수 없습니다.
다음 편