문제

값이 점점 커지거나 작아집니다

층은 들어온 숫자에 곱하고 더하는 계산입니다. 여러 층을 거치면 값이 한쪽으로 커지거나 0에 가깝게 줄어들기 쉽습니다.

막대는 설명용 예시입니다.

왜 문제인가

훈련이 흔들립니다

훈련은 틀린 정도를 보고 모델 안의 숫자(파라미터)를 조금씩 고치는 일입니다. 값의 크기가 층마다 제각각이면 얼마나 고쳐야 할지 가늠하기 어렵습니다.

설명용 그림입니다. 선이 아래에 있을수록 잘 배운 것입니다.

해법 · 층 정규화

층에서 나온 값을 같은 눈금으로 맞춥니다

한 층에서 나온 숫자들을 평균 0, 분산 1로 맞춥니다. 평균과 분산이 무엇인지 실제 숫자로 봅니다.

막대는 예시입니다.

평균

평균은 가운데가 어디인지입니다

어느 층에서 나온 숫자 여섯 개입니다. 모두 더해 6으로 나누면 0.1324입니다. 막대를 평평하게 고른 높이와 같습니다.

분산

분산은 얼마나 흩어져 있는지입니다

숫자마다 평균에서 떨어진 거리가 다릅니다. 이 거리들을 모아 숫자 하나로 나타낸 것이 분산입니다. 클수록 많이 흩어진 것입니다.

떨어진 거리를 제곱해서 평균 낸 값입니다. 실습 도구는 개수보다 하나 적은 수로 나누기 때문에 0.0231이 나옵니다.

입력이 바뀌면

평균도 분산도 달라집니다

같은 층인데도 입력에 따라 눈금이 다릅니다. 이 차이를 없애는 계산이 다음 편입니다.