방법

자리만 잡아 둔 빈 부품을 씁니다

아직 만들지 않은 부품은 점선 상자로 둡니다. 들어온 값을 그대로 내보내기만 합니다.

원본은 이 뼈대를 더미 모델이라고 부릅니다. 더미는 모양만 갖춘 것이라는 뜻입니다.

입력

문장 두 개를 넣어 봅니다

토큰마다 정해진 번호가 있습니다. 두 문장의 첫 토큰 Every는 둘 다 6109입니다.

여러 문장을 한꺼번에 넣는 묶음을 배치라고 합니다.

임베딩

번호가 숫자 768개로 바뀝니다

무슨 토큰인지를 담은 벡터와 몇째 자리인지를 담은 벡터를 더합니다. 3강에서 본 임베딩입니다.

벡터는 숫자 여러 개를 한 줄로 묶은 것입니다.

출력

토큰마다 점수 50,257개

어휘사전의 토큰 하나하나에 매긴 점수입니다. 이 점수를 로짓이라고 부릅니다.

첫 문장의 결과입니다. 소수 둘째 자리까지만 적었습니다.

출력의 모양

2 × 4 × 50,257

문장 2개, 문장마다 토큰 4개, 토큰마다 점수 50,257개입니다. 입력에서 출력까지 길이 뚫렸습니다.

다만

점수에 아직 뜻이 없습니다

점수가 가장 높은 토큰이 다음 토큰 후보입니다. 지금은 블록이 비어 있고 훈련도 하지 않아, 어느 토큰이 높을지는 우연입니다.

막대는 예시입니다. 점수를 실제 토큰으로 바꾸는 일은 다음 강에서 합니다.