실험 조건

학습률만 다르게 두 번 훈련합니다

모델, 글, 걸음 수는 같습니다. A는 학습률을 0.005에 고정하고 클리핑도 하지 않습니다. B는 세 기법을 모두 넣었고 최고 학습률이 0.005입니다.

작은 모델로 4 에포크만 돌렸습니다. 글을 절반 길이로 잘라 묶음이 9개에서 18개가 됐고, 18 × 4 = 72걸음입니다. 웜업은 그 20%쯤인 14걸음입니다.

결과

끝은 A가 더 낮았습니다

모델이 배우지 않은 글로 잰 검증 손실입니다. 세 기법을 넣은 B는 6.780, 넣지 않은 A는 6.371로 끝났습니다. 이 실험에서는 A가 앞섰습니다.

A의 중간 값은 원본 그래프에서 읽은 대략값입니다. A의 끝 값과 B의 값은 기록 그대로입니다.

이유 1

B는 처음에 일부러 천천히 갔습니다

웜업 14걸음 동안 B의 학습률은 A보다 한참 낮습니다. 6걸음째에 A는 벌써 7.8쯤인데 B는 10.631입니다. 16걸음째에야 비슷해집니다.

이유 2

쓴 폭을 다 더하면 B는 A의 절반

72걸음 동안 쓴 학습률을 모두 더하면 A는 0.36, B는 0.18입니다. 웜업과 감쇠가 학습률을 낮춘 만큼, 짧은 훈련에서는 B가 덜 나아갑니다.

A는 0.005 × 72걸음입니다. B의 0.18은 직접 계산한 값입니다.

그러면 왜 쓸까

세 기법은 안전장치입니다

이번 실험에서는 A도 튀지 않았습니다. 그래서 세 기법의 비용인 느린 출발만 보였습니다. 세 기법의 쓸모는 모델이 크고 훈련이 길어 손실이 튀기 쉬울 때 드러납니다.

오른쪽 그림은 이번 실험의 결과가 아니라, 책이 설명하는 경우를 모양으로 보인 것입니다.

14강 정리

여기까지 온 길