모양은 그대로, 내용이 바뀐다
블록을 지나면 숫자의 개수가 달라질까요?
넣어 보면
넣은 모양 그대로 나옵니다
문장 2개, 문장마다 토큰 4개, 토큰마다 숫자 768개를 넣었습니다. 나온 것도 정확히 같은 모양입니다.
실습에서 무작위 숫자로 채운 입력을 블록 하나에 넣어 본 결과입니다.
속에서는
가운데서 넓어졌다가 돌아옵니다
토큰을 다듬는 피드 포워드 안에서만 3,072개로 늘었다가 다시 768개가 됩니다. 블록의 입구와 출구에서는 언제나 768개입니다.
숏컷 연결은 들어온 값을 같은 자리끼리 더합니다. 그래서 두 값의 개수가 같아야 합니다.
달라지는 것
모양은 같고 내용이 바뀝니다
어텐션을 거치면서 토큰의 벡터(숫자 묶음)에 앞에 나온 토큰들의 정보가 섞여 듭니다. 숫자의 개수는 같지만 담긴 뜻이 달라집니다.
색은 어느 토큰에서 온 정보인지를 나타냅니다. 섞인 비율은 예시입니다.
그래서
그대로 이어 쌓을 수 있습니다
나온 모양이 들어간 모양과 같으니, 한 블록의 출력을 다음 블록에 그대로 넣을 수 있습니다. 참고하고 다듬는 일을 12번 되풀이합니다.
4 × 768은 토큰 4개, 토큰마다 숫자 768개라는 뜻입니다.
다음 편