GPT 구성 요소

GPT의 뼈대를 세우고, 그 안에 들어갈 부품인 층 정규화, GELU와 피드 포워드, 숏컷 연결을 하나씩 만듭니다. 9편으로 나눠 처음부터 따라갑니다.

1. 1GPT의 속은 얼마나 복잡할까?GPT의 전체 구조
2. 2GPT의 크기는 무엇이 정할까?설정값과 파라미터
3. 3부품 없이 먼저 돌려 본다뼈대 모델과 출력의 모양
4. 4숫자가 들쑥날쑥하면?층 정규화가 필요한 이유 · 평균과 분산
5. 5평균 0, 분산 1로 맞추는 법층 정규화 계산
6. 6꺾을까, 굽힐까활성화 함수 ReLU와 GELU
7. 7넓혔다가 다시 좁힌다피드 포워드 네트워크
8. 8깊이 쌓으면 신호가 사라진다그레이디언트 소실
9. 9지름길을 낸다숏컷 연결과 정리

예제 문장과 수치는 Sebastian Raschka의 《Build a Large Language Model (From Scratch)》 4장을 따랐습니다.