트랜스포머 블록과 GPT 완성

6강에서 만든 부품을 이어 트랜스포머 블록을 만들고, 블록 12개에 입구와 출구를 붙여 GPT 모델을 완성합니다. 완성한 모델로 글도 써 봅니다. 8편으로 나눠 처음부터 따라갑니다.

1. 1부품은 다 있는데 왜 GPT가 아닐까?조립이 필요한 이유
2. 2어떤 순서로 이을까?트랜스포머 블록의 구조
3. 3블록을 지나면 무엇이 달라질까?모양은 그대로, 내용이 바뀐다
4. 4블록 앞뒤에는 무엇이 붙을까?GPT 모델 조립
5. 51억 2,400만이라더니?파라미터 수와 가중치 묶기
6. 6이 모델은 얼마나 클까?메모리와 더 큰 모델
7. 7점수에서 토큰을 고르는 법다음 토큰 하나 만들기
8. 8방금 만든 GPT는 무슨 말을 할까?글 생성과 정리

예제 문장과 수치는 Sebastian Raschka의 《Build a Large Language Model (From Scratch)》 4장을 따랐습니다.