빈 자리 채우기

점선 상자를 진짜 부품으로 바꿉니다

6강의 뼈대에서 비어 있던 두 자리에 진짜 부품이 들어갑니다. 블록만으로는 글을 받을 수도, 답을 낼 수도 없어서 앞뒤에 입구와 출구가 필요합니다.

입구 · 임베딩

글을 벡터로 바꿉니다

글을 토큰으로 나눠 번호를 붙이고, 번호를 숫자 768개짜리 벡터로 바꿉니다. 거기에 몇째 자리인지를 담은 벡터를 더합니다.

벡터는 숫자 여러 개를 한 줄로 묶은 것입니다. 3강에서 만든 임베딩 그대로입니다.

가운데 · 블록

블록 12개를 차례로 지납니다

앞의 두 편에서 만든 블록입니다. 한 블록에서 나온 값이 다음 블록으로 들어갑니다. 지나는 동안 모양은 토큰 4개, 숫자 768개 그대로입니다.

출구 · 출력 층

숫자 768개를 점수 50,257개로

블록을 다 지난 벡터는 층 정규화를 한 번 더 거칩니다. 그다음 출력 층이 숫자 768개를 점수 50,257개로 바꿉니다.

어휘사전은 모델이 아는 토큰 50,257가지의 목록입니다. 이 점수를 로짓이라고 부릅니다.

전체

아래에서 위로 한 줄입니다

글이 번호가 되고, 벡터가 되고, 블록 12개를 지나, 점수가 되어 나옵니다. GPT 모델은 이것이 전부입니다.

돌려 보면

2 × 4 × 50,257

6강의 뼈대에 넣었던 문장 두 개를 다시 넣었습니다. 나온 모양은 그때와 같습니다. 달라진 것은 속입니다. 이제 값이 진짜 블록 12개를 거쳐 나옵니다.