8강 되짚기

훈련은 네 동작을 되풀이합니다

8강에서 본 훈련의 한 걸음입니다. 손실은 모델이 틀린 정도를 나타내는 숫자이고, 파라미터는 모델 안에 든 숫자들입니다.

묶음은 글을 잘라 모델에 한 번에 넣는 단위입니다. 이번 강의는 넷째 동작의 '얼마나'를 다룹니다.

학습률

한 번에 고치는 폭이 학습률입니다

골짜기의 높이가 손실, 공이 지금의 파라미터입니다. 손실이 낮아지는 쪽으로 공을 옮기는데, 학습률이 크면 한 걸음에 멀리 갑니다.

8강 6편의 골짜기 그림입니다. 실제 모델에는 파라미터가 1억 개가 넘지만 하나만 그렸습니다.

고르기 어려운 숫자

크면 건너뛰고, 작으면 느립니다

너무 크면 가장 낮은 곳을 건너뛰고, 너무 작으면 같은 걸음 수로 얼마 내려가지 못합니다.

8강의 방법

0.0004 하나로 90걸음을 걸었습니다

8강에서는 학습률을 0.0004로 정하고 끝까지 바꾸지 않았습니다. 가장 단순한 방법입니다.

문제

알맞은 폭은 때마다 다릅니다

훈련 초반에는 파라미터가 아무렇게나 채워져 있어, 크게 고치면 엉뚱한 쪽으로 가기 쉽습니다. 막바지에는 가장 낮은 곳이 가까워 조금만 움직여야 합니다.

숫자 하나로 세 때를 모두 맞추기는 어렵습니다. 막대 길이는 모양만 보인 것입니다.

그래서

훈련에 세 가지를 더합니다

앞의 둘은 학습률을 걸음마다 바꾸는 방법이고, 셋째는 한 걸음이 지나치게 커지는 것을 막는 방법입니다.

작은 글씨로 적은 이름은 다음 편부터 하나씩 풀어 갑니다.