훈련 결과
세 기법을 넣고 135걸음을 걸으면 손실은 어디까지 내려갈까요?
훈련 손실
10.970에서 0.213으로
8강처럼 1걸음째에 한 번, 그 뒤로 5걸음마다 적은 훈련 손실입니다. 1걸음째 10.970에서, 마지막 기록인 131걸음째에 0.213까지 내려갔습니다.
훈련 손실은 모델이 배운 글에서 잰 틀린 정도입니다. 훈련에 쓴 글은 8강과 같은 짧은 소설 한 편입니다.
학습률과 나란히
웜업 동안에도 손실은 내려갑니다
위는 걸음마다 쓴 학습률, 아래는 훈련 손실입니다. 학습률이 아직 낮은 웜업 구간에서 손실이 10.970에서 5.681로 내려왔습니다.
낮은 학습률로 천천히 시작해도 손실은 줄어듭니다.
글도 달라집니다
쉼표에서 문장으로
에포크가 끝날 때마다 'Every effort moves you' 뒤를 잇게 했습니다. 영어 문장의 뜻은 몰라도 됩니다. 말이 되어 가는 모양만 보세요.
왼쪽 숫자는 그 에포크에서 마지막으로 적은 훈련 손실입니다. 에포크 3의 5.681은 앞 장의 26걸음째 기록과 같은 값입니다.
검증 손실
6.468에서 멈춰 있습니다
청록색 선은 모델이 배우지 않은 글로 잰 검증 손실입니다. 6 근처에서 멈췄습니다. 8강에서 본 과대적합, 곧 배운 글에만 지나치게 맞춰진 상태입니다.
에포크 15의 글도 소설 원문에 있는 문장 그대로입니다. 훈련에 쓴 글이 짧아서 생기는 일이고, 8강에서도 같았습니다.
8강과 견주면
바로 견줄 수는 없습니다
훈련 손실은 8강의 0.391보다 낮은 0.213입니다. 하지만 걸음 수가 90과 135로 달라서, 세 기법 덕분인지 더 오래 훈련해서인지 가를 수 없습니다.
8강의 값은 마지막 기록인 86걸음째의 것입니다.
다음 편