코잘·멀티 헤드 어텐션

4강의 셀프 어텐션에 두 가지를 더합니다. 뒤에 올 단어를 가리는 코잘 어텐션, 그리고 어텐션 여러 개를 동시에 돌리는 멀티 헤드 어텐션입니다. 8편으로 나눠 따라갑니다.

1. 1왜 뒤를 가려야 할까?코잘 어텐션이 필요한 이유
2. 236칸 중 몇 칸을 가릴까?코잘 마스크와 다시 나누기
3. 30 대신 −∞를 넣으면?소프트맥스 한 번으로 가리기
4. 4일부러 지우는 훈련드롭아웃
5. 5문장이 여러 개 들어오면?배치와 코잘 어텐션 부품
6. 6어텐션 하나로 충분할까?멀티 헤드 어텐션
7. 7헤드가 12개면 계산도 12번일까?가중치 분할로 구현하기
8. 8실제 GPT는 헤드가 몇 개일까?GPT-2의 규모와 정리

예제 문장과 수치는 Sebastian Raschka의 《Build a Large Language Model (From Scratch)》 3장을 따랐습니다.