임베딩이 필요한 이유
컴퓨터는 글자를 그대로 읽을 수 있을까요?
화면을 누르면 다음 장으로 넘어갑니다
답
읽지 못합니다. 숫자 계산만 합니다
LLM(대규모 언어 모델)은 챗GPT처럼 글을 읽고 쓰는 프로그램입니다. 그 속은 숫자를 곱하고 더하는 계산으로 되어 있습니다.
이 계산 장치를 신경망이라고 부릅니다.
첫 생각
단어마다 번호를 붙이면 될까요?
번호는 이름표일 뿐입니다. 크기에 뜻이 없어서 더하거나 곱해도 의미 있는 답이 나오지 않습니다.
그림의 번호는 예시 값입니다.
해법
단어 하나를 숫자 여러 개로 나타냅니다
숫자 여러 개를 한 줄로 묶은 것을 벡터라고 합니다. 단어를 벡터로 바꾸는 일이 임베딩입니다.
여기서는 숫자를 2개씩만 썼습니다. 숫자는 예시 값입니다.
좋은 점
벡터끼리는 거리를 잴 수 있습니다
앞 장의 숫자 2개를 가로와 세로 위치로 삼아 점을 찍었습니다. 뜻이 비슷한 단어를 가까이 두면 뜻을 계산으로 다룰 수 있습니다.
선 옆의 숫자는 두 점 사이의 거리입니다. 자로 잰 길이와 같은 뜻입니다.
글만 그런가
소리와 영상도 벡터로 바꿉니다
무엇이 들어와도 나오는 것은 벡터입니다. 다만 바꾸는 장치인 임베딩 모델은 종류마다 따로 있습니다.
이번 강의는 그중 글을 다룹니다.
다음 편