바뀐 것

원래 모델은 한 칸도 바뀌지 않았습니다

훈련으로 바뀐 것은 A와 B뿐입니다. 그래서 훈련 결과로는 이 작은 조각만 따로 저장하면 됩니다.

노란 조각은 원래 모델에 견준 크기 그대로 그렸습니다. 약 47분의 1입니다. 새로 단 출력 층은 공개된 GPT-2에 없는 층이라 함께 둡니다.

할 일이 여럿이면

보관할 숫자가 약 3분의 1로 줄어듭니다

1편에서는 할 일마다 모델이 통째로 한 벌씩 필요했습니다. LoRA에서는 원본 하나를 함께 쓰고, 일에 맞는 조각만 갈아 끼웁니다.

조각의 크기가 일마다 같다고 본 예시입니다. 124,441,346 + 2,666,528 × 3 = 132,440,930으로 약 1억 3,244만 개입니다.

알아 둘 점

얻는 것과 치르는 것

지금처럼 작은 모델에서는 샛길 계산 때문에 오히려 느려질 수도 있습니다. 고칠 숫자가 훨씬 많은 큰 모델일수록 LoRA의 이득이 큽니다.

15강 정리

LoRA 한눈에 보기

더 해 볼 것

같은 방법을 다른 곳에도 쓸 수 있습니다

LoRA는 스팸 분류에만 쓰는 방법이 아닙니다. 가중치 표가 있는 모델이면 어디에나 붙일 수 있습니다.

LLM 과목 전체

글 조각 하나에서 여기까지 왔습니다

1강부터 15강까지 온 길입니다. 글을 숫자로 바꾸는 데서 시작해, 모델을 만들고, 훈련하고, 가볍게 고치는 데까지 왔습니다.