코사인 감쇠
최고 학습률에 오른 뒤, 끝까지 그대로 가도 될까요?
최고 학습률은 2편의 웜업으로 올라간 꼭대기 값입니다.
그대로 두면
가장 낮은 곳을 자꾸 지나칩니다
훈련 막바지에는 가장 낮은 곳이 가깝습니다. 폭이 크면 그곳에 멈추지 못하고 양쪽을 오갑니다.
모양을 보인 그림입니다.
해법
폭을 차츰 줄입니다
걸음이 쌓일수록 학습률을 낮춥니다. 폭이 줄면서 공이 가장 낮은 곳에 자리를 잡습니다.
학습률을 줄여 나가는 것을 감쇠라고 합니다.
줄이는 모양
코사인 곡선의 반쪽을 따라 줄입니다
반원을 한결같은 빠르기로 도는 점이 있습니다. 그 점의 높이만 이어 그리면 오른쪽 곡선이 됩니다. 학습률을 이 모양으로 줄입니다.
이 곡선이 코사인 곡선의 반쪽입니다. 코사인은 원 위에 있는 점의 위치를 구하는 계산이고, 계산법은 몰라도 됩니다.
곡선의 성질
처음과 끝은 조금씩, 가운데는 많이
줄이는 108걸음을 27걸음씩 넷으로 나눠 보면, 첫 구간과 끝 구간은 조금 줄고 가운데 두 구간은 많이 줄어듭니다.
작은 숫자는 직접 계산해 반올림한 값입니다. 높은 학습률을 한동안 쓰다가 끝에서는 살살 마무리하는 모양입니다.
바닥
0이 아니라 0.00001에서 멈춥니다
학습률이 0이 되면 더는 고쳐지지 않습니다. 그래서 내려갈 바닥인 최저 학습률을 정해 둡니다. 여기서는 처음 학습률 0.0001의 10분의 1입니다.
135걸음째의 0.000012는 실습 기록이고, 나머지 넷은 직접 계산한 값입니다.
합치면
학습률이 산 모양이 됩니다
처음엔 천천히 올리고, 꼭대기를 지나면 끝까지 줄입니다. 가장 큰 폭으로 고치는 때는 28걸음째 무렵뿐입니다.
웜업 뒤에 이렇게 줄여 가는 방법을 코사인 감쇠라고 합니다.
다음 편