훈련 루프 고급 기법

8강에서 만든 훈련을 더 안정되게 만드는 세 가지 기법입니다. 한 번에 고치는 폭을 처음에는 천천히 올리고, 뒤로 갈수록 줄이고, 한 걸음이 지나치게 커지지 않게 막는 방법을 7편으로 나눠 따라갑니다.

1. 1훈련 내내 같은 폭으로 고쳐도 될까?학습률을 조절하는 이유
2. 2처음에는 왜 천천히 가야 할까?학습률 웜업
3. 3뒤로 갈수록 왜 줄일까?코사인 감쇠
4. 4한 걸음이 갑자기 커지면?그레이디언트 클리핑
5. 5세 가지를 어디에 넣을까?세 기법을 넣은 훈련
6. 6135걸음 뒤, 손실은 어디까지?훈련 결과
7. 7세 기법을 빼면 더 나빠질까?비교 실험과 정리

예제와 수치는 Sebastian Raschka의 《Build a Large Language Model (From Scratch)》 부록 D를 따랐습니다.