LLM 이해하기

LLM이 무엇이고, 무엇을 연습해서 글을 쓰게 됐고, 어떤 구조로 되어 있는지 큰 그림을 봅니다. 배경 지식 없이 9편으로 나눠 따라갑니다.

1. 1규칙으로 글을 쓸 수 있을까?LLM이 필요해진 이유와 이름의 뜻
2. 2다음 단어 맞히기LLM이 하는 연습과 토큰
3. 3무엇이 '대규모'일까?파라미터와 훈련 데이터의 크기
4. 4정답은 누가 달아 줄까?사전 훈련과 자기 지도 학습
5. 5챗봇은 어떻게 만들까?미세 튜닝
6. 6트랜스포머는 무엇일까?인코더, 디코더, 셀프 어텐션
7. 7GPT는 무슨 뜻일까?디코더만 쓰는 구조와 자기회귀
8. 8말로 시키면 됩니다프롬프트, 제로샷과 퓨샷
9. 9왜 직접 만들어 볼까?만드는 이유와 앞으로의 계획

예문과 수치는 Sebastian Raschka의 《Build a Large Language Model (From Scratch)》 1장을 따랐습니다.