훈련 한 걸음

네 가지를 되풀이합니다

문자 8통을 넣고, 답을 내고, 손실을 재고, 손실이 줄어드는 쪽으로 가중치를 조금 고칩니다. 이것이 한 걸음입니다.

8강의 훈련과 같은 한 걸음입니다. 정답이 붙은 데이터로 훈련하므로 지도 학습이라고 합니다. 고쳐지는 가중치는 4편에서 풀어 둔 세 곳뿐입니다.

얼마나 하나

130걸음씩 5 에포크

훈련 세트를 처음부터 끝까지 한 번 다 쓰는 것이 8강에서 본 1 에포크입니다. 1,045통을 8통씩 묶으면 130묶음이라 1 에포크가 130걸음이고, 5 에포크를 돌아 모두 650걸음입니다.

8통씩 묶고 남는 5통은 그 에포크에서 쓰지 않습니다.

손실

2.153에서 0.083으로

훈련 전 손실은 2.453이었습니다(6편). 첫 걸음을 뗀 직후에 다시 재니 2.153이고, 50걸음 만에 찍는 수준인 0.69 아래로 내려갑니다.

6편과 같이 40통으로 잰 값입니다. 노란 선은 훈련 세트, 청록 선은 훈련에 쓰지 않은 검증 세트입니다.

정확도

에포크마다 더 맞힙니다

에포크가 끝날 때마다 문자 40통으로 빠르게 잰 정확도입니다. 넷째 에포크에서 훈련 세트 100%, 검증 세트 97.5%가 됩니다.

두 선

두 선이 붙어서 내려갑니다

훈련 세트만 잘 맞히고 검증 세트에서 틀린다면 답을 외운 것입니다. 이것을 과대적합이라고 합니다. 두 선이 함께 내려가니 그런 조짐은 거의 없습니다.