사람은

쓰면서 계속 다시 봅니다

단어 하나를 쓸 때마다 원문에서 지금 필요한 곳을 찾아봅니다.

2014년

이 방식이 모델에 들어갑니다

이름은 바흐다나우 어텐션입니다. 디코더가 원문의 모든 위치를 직접 참조합니다.

어디를 얼마나

볼 비중을 숫자로 정합니다

이 숫자가 어텐션 가중치입니다. 단어를 하나 쓸 때마다 새로 계산합니다.

이해를 돕는 예시 값입니다.

2017년

RNN을 빼고 어텐션을 중심에 둡니다

트랜스포머 안에 들어 있는 것이 셀프 어텐션입니다.

무엇이 다른가

'셀프'는 같은 문장 안이라는 뜻입니다

그래서 중요합니다

GPT의 핵심 부품이 셀프 어텐션입니다

GPT는 다음에 올 단어를 맞히는 모델입니다. 이번 강의는 그 핵심 부품 하나를 끝까지 따라갑니다.