곱셈표

세로 숫자와 가로 숫자를 곱해 칸을 채웁니다

구구단 표를 만드는 방법과 같습니다. 칸마다 왼쪽의 세로 숫자와 위쪽의 가로 숫자를 곱합니다.

그림의 숫자는 예시 값입니다.

작은 표 두 개

A와 B를 곱하면 큰 표가 됩니다

세로 숫자를 모은 표가 A, 가로 숫자를 모은 표가 B입니다. 먼저 한 줄씩만 두면, 숫자 20개로 100칸이 채워집니다.

칸의 밝기는 값의 크기를 나타내는 예시입니다.

줄을 늘리면

곱셈표 두 장을 더합니다

줄이 많을수록 더 다양한 표를 만들 수 있습니다. 그래서 A는 세로줄 2개, B는 가로줄 2개로 늘립니다. 첫째 줄끼리, 둘째 줄끼리 곱한 표를 더합니다.

이 줄의 수를 랭크(rank)라고 합니다. 여기서는 2이고, 앞 편에서 본 A와 B가 이 모양입니다. 랭크를 키우면 숫자도 그만큼 늘어납니다.

세어 보면

100칸 대 40칸

큰 표를 그대로 두면 숫자가 100개 필요합니다. 작은 표 두 개로 두면 20 + 20 = 40개면 됩니다.

표가 커지면

클수록 차이가 벌어집니다

한 변이 10배가 되면 큰 표의 칸은 100배, 작은 표 둘은 10배가 됩니다. 그래서 큰 표에 견준 몫이 40%, 4%, 0.4%로 줄어듭니다.

작은 표를 두 줄로 두었을 때를 직접 계산한 예시입니다.

대신 치르는 값

칸을 하나씩 따로 고치지는 못합니다

작은 표로 만든 표는 숫자 하나를 고치면 한 줄이 함께 바뀝니다. 그래서 큰 표로 직접 고칠 때의 고칠 양을 그대로는 못 담고, 비슷하게 담습니다.

미세 튜닝에는 이 정도로 충분할 때가 많습니다. LoRA는 Low-Rank Adaptation을 줄인 말로, 줄 수가 적은 표(낮은 랭크)로 새 일에 맞춘다는 뜻입니다.