처음 몇 걸음

첫 걸음부터 뚝 떨어집니다

묶음 하나를 보고 가중치를 한 번 고쳤을 뿐인데 3.826이 2.637이 됩니다. 11걸음 뒤에는 1 아래로 내려갑니다.

손실은 정답 토큰을 얼마나 못 맞히는지 잰 숫자입니다. 훈련하는 동안 5걸음마다 한 번씩 쟀습니다.

2 에포크 전체

3.826에서 0.294로

처음 열 걸음 남짓에 크게 떨어지고, 그 뒤로는 오르내리며 천천히 내려갑니다. 마지막으로 잰 손실은 0.294입니다.

에포크는 훈련 세트를 처음부터 끝까지 한 번 다 쓰는 것이고, 여기서는 116걸음입니다.

검증 세트

처음 보는 지시에서도 내려갑니다

청록 선은 훈련에 쓰지 않은 검증 세트 55개로 잰 손실입니다. 훈련 전 3.762에서 0.656으로 내려갔습니다. 답을 외우기만 한 것은 아니라는 뜻입니다.

앞 장의 그래프에서 아래쪽만 크게 본 것이라 선의 모양이 달라 보입니다. 3.762는 2편에서 잰 값입니다.

두 선 사이

둘째 에포크에서 사이가 벌어집니다

둘째 에포크에서 훈련 세트 손실은 계속 내려가는데 검증 세트 손실은 0.65 근처에 머뭅니다. 더 돌리면 본 문제만 잘 풀게 될 수 있어 2 에포크에서 멈춥니다.

본 문제만 잘 푸는 것을 과대적합이라고 합니다(8강). 차이 0.16과 0.36은 두 손실을 직접 뺀 값입니다.

손실 말고 글로 보면

대답이 달라졌습니다

1편에서 문장을 베끼기만 하던 그 지시입니다. 검증 세트에 든 지시라 훈련에는 쓰지 않았는데도, 2 에포크 뒤에는 '식사는 매일 요리사에 의해 요리된다'라는 바른 답을 냅니다.

걸린 시간

같은 훈련이 3분, 또는 19분

가중치 3억 5,500만 개를 232번 고치는 일이라 계산이 많습니다. GPU로는 3.21분, CPU로는 18.87분이 걸렸습니다.

CPU는 컴퓨터의 기본 계산 장치이고, GPU는 같은 계산을 한꺼번에 많이 하는 장치입니다. 앞에서 본 손실은 GPU로 돌린 기록입니다.