LLM에게 일 시키기

새 일을 시킬 때마다 모델을 새로 훈련해야 할까요?

답

모델은 그대로 두고 넣는 글만 바꿉니다

여기서 쓰는 모델은 5편처럼 지시를 따르도록 미세 튜닝까지 마친 모델입니다. 이 모델에 넣는 글을 프롬프트라고 합니다. 프롬프트만 바꾸면 같은 모델이 다른 일을 합니다.

일마다 새로 훈련하지 않아도 됩니다. 모델 안의 숫자는 하나도 바뀌지 않습니다.

방법 ① · 제로샷

예시 없이 시키기만 합니다

지시는 '영어를 독일어로 옮겨라'라는 뜻입니다. 지시를 따르도록 맞춘 모델이라서, 번역 예시를 하나도 주지 않고 시키기만 해도 답이 나옵니다.

샷(shot)은 예시 하나를 뜻합니다. 제로샷은 예시가 0개라는 말입니다.

방법 ② · 퓨샷

예시 몇 개를 같이 넣습니다

뒤섞인 철자를 바로잡은 예시 두 개를 보고, 모델이 규칙을 알아채 세 번째를 풉니다. 퓨(few)는 '몇 개'라는 뜻입니다.

뜻밖의 결과

번역은 따로 가르친 적이 없습니다

번역하는 힘은 사전 훈련에서 이미 생겼습니다. 여러 언어가 섞인 많은 글로 다음 단어 맞히기만 했는데 번역과 요약까지 할 줄 알게 된 것입니다. 이 뜻밖의 결과를 창발적 행동이라고 부릅니다.

미세 튜닝이 가르친 것은 지시를 따르는 법입니다. 창발은 하나하나에는 없던 성질이 모이면 나타난다는 뜻입니다.

쓰임새

글이 있는 곳이면 쓸 수 있습니다

번역, 요약, 글쓰기에서 시작해 코드 작성과 전문 분야의 문서 찾기까지 넓어졌습니다.

다음 편

이제 이 모델을 직접 만들어 볼 차례입니다

9편왜 직접 만들어 볼까? 1강 목록