하는 일

GPT가 하는 일은 하나입니다

글을 받아 다음에 올 토큰 하나를 내놓습니다. 그 토큰을 뒤에 붙이고 같은 일을 되풀이합니다.

토큰은 글을 잘게 나눈 조각으로, 대체로 단어 하나나 그 일부입니다. 그림의 문장은 예시입니다.

속을 보면

세 구역으로 나뉩니다

토큰을 숫자로 바꾸는 곳, 그 숫자를 다듬는 곳, 다음 토큰을 고르는 곳입니다.

임베딩은 토큰을 벡터로 바꾸는 일입니다. 벡터는 숫자 여러 개를 한 줄로 묶은 것입니다.

가운데 구역

같은 부품을 되풀이해 쌓습니다

트랜스포머 블록이라는 부품을 12번 쌓습니다. 모델은 커도 구조는 단순합니다.

12는 가장 작은 GPT-2의 값입니다. 이 강의에서 만드는 모델입니다.

블록 하나를 열면

부품은 네 가지입니다

어텐션은 단어가 다른 단어를 참고하는 계산으로, 앞 강에서 만들었습니다. 남은 세 가지가 이번 강의 내용입니다.

이번 강의 순서

뼈대를 세우고 부품을 하나씩 만듭니다

만든 부품을 조립하는 일은 다음 강에서 합니다.