셀프 어텐션

문장 속 단어가 다른 단어를 참고해 자기 뜻을 정하는 방법입니다. GPT 같은 LLM의 핵심 부품이고, 9편으로 나눠 처음부터 따라갑니다.

1. 1단어만 바꾸면 번역이 될까?번역과 옛 방식의 한계
2. 2필요한 곳을 다시 본다어텐션의 등장
3. 3'배'는 무슨 뜻일까?문맥 벡터
4. 4닮음을 숫자로 바꾸는 법1단계 · 점곱과 어텐션 점수
5. 5점수 1.50은 몇 퍼센트일까?2단계 · 소프트맥스와 어텐션 가중치
6. 6섞으면 문맥 벡터3단계 · 가중치를 곱해 더하기
7. 7쿼리, 키, 값훈련 가능한 셀프 어텐션
8. 8√dk는 왜 나눌까?스케일드 점곱 어텐션
9. 9코드로는 몇 줄일까?구현과 정리

예제 문장과 수치는 Sebastian Raschka의 《Build a Large Language Model (From Scratch)》 3장을 따랐습니다.