지금 가진 것

부품 네 가지가 따로 놓여 있습니다

앞의 두 강에서 하나씩 만든 것입니다. 저마다 잘 돌아가지만 아직 서로 이어져 있지 않습니다.

토큰은 글을 잘게 나눈 조각으로, 대체로 단어 하나나 그 일부입니다.

6강의 뼈대

가운데가 아직 비어 있습니다

6강에서 세운 뼈대입니다. 점선 상자는 자리만 잡아 둔 빈 부품이라, 들어온 값을 그대로 내보냅니다.

임베딩은 토큰을 벡터로 바꾸는 일이고, 벡터는 숫자 여러 개를 한 줄로 묶은 것입니다.

할 일 1

부품을 이어 블록 하나를 만듭니다

네 가지를 정해진 순서로 이으면 트랜스포머 블록 하나가 됩니다. 2편과 3편에서 다룹니다.

할 일 2

블록을 쌓고 앞뒤를 붙입니다

블록 12개를 쌓고, 아래에 임베딩을, 위에 층 정규화와 출력 층을 붙이면 GPT 모델입니다. 4편부터 6편까지입니다.

할 일 3

점수를 글로 바꿉니다

모델이 내놓는 것은 글이 아니라 점수입니다. 점수에서 토큰을 골라 글 뒤에 붙여야 글이 됩니다. 7편과 8편입니다.

막대는 예시입니다.

이번 강의 순서

잇고, 쌓고, 세어 보고, 글을 씁니다

이번 강이 끝나면 글을 넣었을 때 글이 나오는 모델이 됩니다.