방법

들어온 값을 나가는 값에 더합니다

층을 거친 값에, 층에 들어가기 전의 값을 그대로 더합니다. 이것이 숏컷 연결입니다.

숏컷은 지름길이라는 뜻입니다. 스킵 연결, 잔차 연결이라고도 부릅니다.

숫자로 보면

같은 자리끼리 더합니다

그래서 들어온 값과 층을 거친 값의 숫자 개수가 같아야 합니다. 개수가 다르면 숏컷을 달 수 없습니다.

들어온 값 1, 0, −1은 실습의 입력이고, 층을 거친 값은 예시입니다.

왜 통하나

돌아가는 신호도 지름길을 탑니다

뒤에서 앞으로 가는 훈련 신호가 층을 건너뛰어 지나갑니다. 층에서 줄어들지 않은 신호가 앞쪽 층까지 닿습니다.

다시 실험

같은 5층에 숏컷을 달면

1층의 그레이디언트가 0.00020에서 0.2217로 커졌습니다. 약 1,100배입니다. 앞쪽 층도 배울 수 있게 됐습니다.

처음 숫자를 똑같이 채우고 숏컷만 켠 결과입니다. 5층은 들어오는 숫자와 나가는 숫자의 개수가 달라 숏컷을 달지 못했습니다. 그래도 앞쪽 층에서 오는 값이 달라져 5층의 막대도 함께 바뀝니다.

6강 정리

부품이 모두 모였습니다

뼈대가 섰고, 그 안에 들어갈 부품 세 가지가 준비됐습니다.