출발

토큰 번호 8줄 × 4칸에서 출발합니다

3편에서 만든 묶음입니다. 한 줄에 토큰 네 개씩 여덟 줄입니다. 어느 줄이든 칸의 자리 번호는 0번부터 3번까지입니다.

토큰 임베딩

번호 하나가 숫자 256개로 바뀝니다

실습용 토큰 표는 한 줄에 숫자가 256개입니다. 번호 32개가 저마다 한 줄씩 꺼내 오므로 숫자는 8 × 4 × 256, 모두 8,192개가 됩니다.

위치 임베딩

위치 벡터 네 개를 모든 줄이 함께 씁니다

어느 줄이든 첫 칸은 0번 자리, 끝 칸은 3번 자리입니다. 그래서 같은 위치 벡터 네 개를 여덟 줄에 똑같이 더합니다.

크기가 다른 표를 이렇게 맞춰 더하는 것을 브로드캐스팅이라고 합니다. 더해도 숫자의 개수는 8 × 4 × 256 그대로입니다.

3강 정리

글에서 입력 임베딩까지

남은 문제

'배'는 문장이 달라도 같은 벡터입니다

입력 임베딩은 무슨 토큰이 몇 번째에 있는지만 압니다. 주변에 어떤 단어가 있는지는 모릅니다. 그래서 타는 배도, 몸의 배도, 먹는 배도 같은 벡터입니다.

벡터의 숫자는 예시입니다.