예제

후보 토큰 9개와 점수

'every effort moves you' 다음에 올 토큰을 고르는 예제입니다. 모델이 후보마다 매긴 점수입니다.

토큰은 글을 나눈 조각으로, 여기서는 단어 하나입니다. 실제 모델의 후보는 50,257개입니다.

점수를 확률로

먼저 점수를 확률로 바꿉니다

점수를 합이 100%인 확률로 바꾸는 계산을 소프트맥스라고 합니다. forward 57.2%, toward 35.8%, closer 6.1%이고, 나머지 여섯은 합쳐도 1%가 안 됩니다.

4강에서 본 계산입니다. 음수 점수도 0보다 큰 확률이 됩니다.

뽑는 방법

확률만큼 칸을 나눈 띠에서 뽑습니다

띠 위의 아무 곳이나 한 점을 찍고, 그 점이 놓인 칸의 토큰을 고릅니다. 칸이 넓을수록 자주 뽑히지만 1등이 아닌 토큰도 뽑힙니다.

확률에 따라 뽑는 것을 샘플링이라고 부릅니다. 화살표가 찍는 위치는 예시입니다.

비교

열 번 골라 보면

위는 열 번 모두 forward입니다. 아래는 뽑을 때마다 달라서, 다시 시키면 다른 글이 나옵니다.

아래 줄의 순서와 횟수는 예시입니다.

많이 뽑으면

1,000번 뽑으면 확률을 닮아 갑니다

forward 582번, toward 343번, closer 73번입니다. 확률 57.2%, 35.8%, 6.1%와 거의 같은 비율입니다.

실습에서 실제로 1,000번 뽑은 결과입니다. 확률이 0.3%인 inches도 2번 나왔습니다.

남은 문제

얼마나 모험할지는 정할 수 없습니다

확률은 모델이 정한 그대로입니다. 더 안전하게 쓰고 싶어도, 더 다양하게 쓰고 싶어도 손댈 곳이 없습니다.