LLM · 4강

셀프 어텐션

문장 속 단어가 다른 단어를 참고해 자기 뜻을 정하는 방법입니다. GPT 같은 LLM의 핵심 부품이고, 9편으로 나눠 처음부터 따라갑니다.

1. 1단어만 바꾸면 번역이 될까?번역과 RNN의 한계
2. 2필요한 곳을 다시 본다어텐션의 등장
3. 3'배'는 무슨 뜻일까?문맥 벡터
4. 4닮음을 숫자로 바꾸는 법1단계 · 점곱과 어텐션 점수
5. 5점수 1.50은 몇 퍼센트일까?2단계 · 소프트맥스와 어텐션 가중치
6. 6섞으면 문맥 벡터3단계 · 가중치를 곱해 더하기
7. 7쿼리, 키, 값훈련 가능한 셀프 어텐션
8. 8√dk는 왜 나눌까?스케일드 점곱 어텐션
9. 9코드로는 몇 줄일까?구현과 정리

예제 문장과 수치는 Sebastian Raschka의 《Build a Large Language Model (From Scratch)》 3장을 따랐습니다.