심판 모델

심판은 훨씬 큰 모델입니다

메타가 공개한 Llama 3입니다. 가중치가 80억 개로 우리 모델의 22배쯤이고, 지시를 따르도록 이미 미세 튜닝돼 있습니다.

Llama는 라마라고 읽습니다. 올라마(Ollama)라는 무료 프로그램을 쓰면 이런 공개 모델을 내 컴퓨터에서 돌릴 수 있습니다.

채점 시키기

세 가지를 주고 점수를 묻습니다

문제, 정답 응답, 모델 응답을 프롬프트(모델에 넣는 글) 하나에 담고 0점에서 100점 사이로 채점해 달라고 합니다.

실제 프롬프트는 영어입니다. 끝부분은 'score the model response on a scale from 0 to 100', 곧 모델 응답을 0에서 100 사이로 채점하라는 문장입니다.

세 문제의 점수

총알 85점, 적운 40점

6편에서 뜻을 보고 내린 판단과 같습니다. 맞는 답 둘은 높고, 구름 이름이 틀린 답은 낮습니다.

막대 아래 글은 Llama 3가 점수와 함께 적은 이유를 줄여 옮긴 것입니다.

한 가지 문제

점수가 긴 글에 묻혀 있습니다

110개의 평균을 내려면 숫자만 있어야 합니다. 그래서 프롬프트 끝에 한 문장을 더합니다.

110개 전체

평균은 49.75점입니다

앞의 세 문제는 110개 가운데 처음 세 개입니다. 나머지에는 염소의 원소 기호를 묻는 문제에 Cl 대신 CH3라고 답한 것처럼 틀린 답도 많아서, 전체 평균은 49.75점입니다.

채점에는 1분 남짓 걸렸습니다. 책에 실린 실행에서는 평균이 50.32점이었고, 돌리는 환경에 따라 조금씩 달라집니다.

점수의 쓸모

이 점수는 견주는 데 씁니다

49.75점 하나만으로 좋다 나쁘다를 말하기는 어렵습니다. 무언가를 바꾼 뒤 같은 심판, 같은 110문제로 다시 재서 올랐는지 봅니다.

훈련 설정은 한 번에 고치는 폭(학습률), 묶음 크기, 에포크 수 같은 값입니다.