GPT가 하는 연습

다음 단어 맞히기입니다

문장을 한 단어씩 늘려 가며 바로 다음에 올 단어를 맞히도록 훈련합니다.

4강에서 만든 것

셀프 어텐션은 문장 전체를 봅니다

셀프 어텐션은 주변 단어의 정보를 비율대로 섞어 문맥 벡터라는 새 숫자 묶음을 만듭니다. journey는 뒤에 오는 단어 넷도 함께 섞습니다.

문제

정답이 새어 들어옵니다

journey 자리에서 맞혀야 할 단어는 starts입니다. 그런데 그 starts가 문맥 벡터에 이미 들어 있습니다.

해법

자기보다 뒤에 오는 단어를 가립니다

단어마다 볼 수 있는 범위가 다릅니다. 앞에 있는 단어와 자기 자신까지만 봅니다.

이름

이것이 코잘 어텐션입니다

코잘(causal)은 '원인과 결과'라는 뜻입니다. 앞 단어가 뒤 단어에 영향을 주고, 거꾸로는 흐르지 않습니다.

가리는 데 쓰는 표를 마스크라고 해서 마스크드 어텐션이라고도 부릅니다.

5강에서 할 일

셀프 어텐션에 세 가지를 더합니다

1과 2를 더한 것이 코잘 어텐션이고, 그것을 여러 개 묶은 것이 멀티 헤드 어텐션입니다.