첫째 문제

정답은 번개, 모델은 총알

글자는 정답과 다릅니다. 하지만 빠르다는 것을 다른 것에 빗대어 말했으니 지시대로 한 답입니다.

simile은 직유, 곧 '~처럼'을 써서 빗대는 표현입니다.

둘째 문제

적란운이 아니라 적운

문장은 정답과 거의 같습니다. 하지만 가장 중요한 구름 이름이 틀렸습니다.

적란운은 소나기와 번개를 일으키는 구름이고, 적운은 뭉게구름입니다.

셋째 문제

정답은 이름만, 모델은 한 문장

정답은 이름만 적었고 모델은 문장으로 답했습니다. 길이는 달라도 내용은 맞습니다.

채점의 어려움

글자를 맞대서는 채점할 수 없습니다

글자가 똑같은지만 보면 셋 다 오답입니다. 뜻을 보면 둘은 맞고 하나는 틀렸습니다. 11강의 스팸 분류처럼 정답과 같은지 세는 방법은 쓸 수 없습니다.

LLM을 평가하는 방법

널리 쓰는 방법은 세 가지입니다

이번 강의에서는 셋째 방법을 씁니다.

MMLU는 여러 분야의 문제를 모은 시험이고, 챗봇 아레나는 사람들이 LLM의 답을 견줘 고르는 사이트입니다. AlpacaEval은 GPT-4 같은 LLM에게 평가를 맡기는 방법입니다.

셋째 방법을 고른 이유

사람이 다 읽기에는 일이 많습니다

응답 110개를 사람이 하나씩 읽고 점수를 매기려면 시간이 많이 듭니다. 모델을 고칠 때마다 다시 해야 합니다. 그래서 채점을 다른 LLM에게 맡깁니다.

사람 쪽이 채워지는 빠르기는 설명을 위해 그린 것입니다.