#LLM 기초

대형 언어 모델(LLM, Large Language Model)은 방대한 텍스트로 "다음 토큰 예측"을 학습한 Transformer 모델입니다. 대화·요약·코드 생성·추론은 모두 이 한 가지 동작을 반복한 결과입니다. 이 문서는 구조·토큰·학습 단계·호출 파라미터·한계·모델 선택 기준을 한 번에 훑고, 깊은 내용은 LLM 심화 시리즈로 연결합니다.

#텍스트가 생성되는 과정

LLM은 답을 한 번에 만들지 않습니다. 토큰 하나를 예측해 입력 뒤에 붙이고, 다시 전체를 넣어 다음 토큰을 예측하는 과정(자기회귀, autoregressive) 을 종료 토큰이 나올 때까지 반복합니다.

이 구조에서 실무적으로 중요한 사실이 두 가지 나옵니다.

• 입력 처리(Prefill)와 출력 생성(Decode)은 성격이 다릅니다. 입력은 한 번에 병렬로 계산하지만 출력은 토큰마다 한 번씩 순차로 계산합니다. 그래서 첫 토큰 지연(TTFT)은 입력 길이에, 전체 응답 시간은 출력 길이에 크게 좌우됩니다. → Prefill과 첫 글자 지연
• 이전 토큰의 계산 결과를 재사용하려고 KV Cache를 씁니다. 속도를 얻는 대신 메모리를 쓰고, 컨텍스트가 길수록 메모리가 커집니다. → KV Cache

전체 흐름은 LLM 추론 전 과정에서 자세히 다룹니다.

#Transformer

2017년 논문 Attention Is All You Need에서 제안된 구조로, 현재 거의 모든 LLM의 기반입니다.

RNN을 밀어낸 이유는 장거리 의존성, 병렬 계산, 규모 확장을 동시에 만족했기 때문입니다. RNN은 앞 토큰 계산이 끝나야 다음 토큰을 계산할 수 있어 GPU를 충분히 활용하지 못했습니다.

• 왜 Transformer인가 → Transformer를 선택한 이유
• Q·K·V 직관 → QKV 이해하기
• 일부 전문가만 활성화하는 MoE(Mixture of Experts) 구조 → MoE 메모리

#토큰과 토큰화

토큰화(tokenization)는 텍스트를 모델이 다루는 최소 단위인 토큰으로 쪼개고, 각 토큰을 어휘 사전(vocabulary)의 정수 ID로 바꾸는 과정입니다. 모델은 글자가 아니라 이 ID 열을 봅니다.

#분할 단위

현대 LLM은 거의 전부 서브워드 방식을 씁니다.

#대표 알고리즘

#토큰 수 확인

import tiktoken

enc = tiktoken.get_encoding("o200k_base")  # GPT-4o 계열 인코딩
for text in ["Hello, world!", "안녕하세요, 세계!"]:
    ids = enc.encode(text)
    print(text, len(ids), ids)

브라우저에서 바로 확인하려면 Tiktokenizer가 편합니다.

#토큰이 실무에 주는 영향

• 과금·컨텍스트 한도·출력 한도가 전부 토큰 단위입니다.
• 같은 문장도 토크나이저마다 토큰 수가 다릅니다. 한국어는 토크나이저에 따라 같은 의미의 영어 문장보다 토큰이 더 많이 드는 경우가 흔합니다. 모델 세대가 바뀌며 토크나이저가 바뀌기도 합니다. 예를 들어 Anthropic은 Claude Opus 4.7부터 새 토크나이저를 도입했고, 공식 문서 기준 1M 토큰에 들어가는 영어 단어 수가 약 75만 개에서 약 55.5만 개로 줄었습니다.
• 글자 수 세기, 뒤집기, 자릿수 계산에 약한 이유가 여기 있습니다. 모델은 strawberry를 글자가 아니라 몇 개의 토큰 덩어리로 봅니다.

⚠️ 함정: "한글 1자 ≈ 1토큰" 같은 어림셈으로 비용과 한도를 계산하면 모델을 바꿀 때 조용히 틀어집니다. 운영 비용 추정은 반드시 해당 모델의 토크나이저나 토큰 카운트 API로 실제 데이터를 세서 하세요.

#컨텍스트 윈도우

컨텍스트 윈도우는 모델이 한 번의 호출에서 다룰 수 있는 토큰의 최대치입니다. 시스템 프롬프트, 대화 이력, 첨부 문서, 도구 정의, 그리고 모델이 생성하는 출력(추론 모델의 사고 토큰 포함)이 모두 이 안에 들어갑니다.

2026년 기준 주요 프런티어 API 모델은 100만(1M) 토큰 전후의 윈도우를 제공합니다(예: Claude Opus 5·Sonnet 5는 1M 토큰). 하지만 담을 수 있다는 것과 잘 활용한다는 것은 다릅니다.

⚠️ 함정: "윈도우가 크니 문서를 통째로 넣자"는 설계는 데모에서는 잘 되다가 운영에서 정확도·지연·비용이 함께 무너집니다. 필요한 부분만 골라 넣는 RAG, 이력 요약, 프롬프트 캐싱을 먼저 검토하세요.

• 컨텍스트 윈도우는 주의력 예산
• 다중 턴 대화 이력 압축
• 접두사 캐시와 시맨틱 캐시
• 프롬프트가 너무 길 때의 함정

#모델 분류

#구조에 따른 분류

같은 decoder-only 안에서도 모든 파라미터를 매번 쓰는 Dense 모델과, 토큰마다 일부 전문가(expert)만 활성화하는 MoE 모델로 나뉩니다. MoE는 계산량은 활성 파라미터 기준이지만 메모리는 전체 파라미터를 올려야 합니다.

#규모에 따른 분류

경계는 관례적이며 시기에 따라 계속 올라갑니다.

상용 API 모델 대부분은 파라미터 수를 공개하지 않습니다. 규모는 성능·비용·지연의 대리 지표일 뿐, 모델을 고를 때는 직접 평가한 결과를 보세요.

#모달리티에 따른 분류

Transformer는 텍스트는 단어 조각, 이미지는 패치, 오디오는 음향 조각처럼 무엇이든 토큰으로 바꾸면 같은 구조로 처리할 수 있어 멀티모달 확장이 자연스럽습니다. 로봇 행동까지 토큰으로 다루는 사례는 체화 지능을 참고하세요.

#튜닝 단계에 따른 분류

#추론 모델 vs 비추론 모델

추론 모델은 최종 답 전에 사고(thinking) 토큰을 길게 생성하도록 강화학습으로 훈련된 모델입니다. OpenAI o1(2024년 9월)이 대중화했고, DeepSeek-R1(2025년 1월)이 정답을 검증할 수 있는 문제에 강화학습을 적용하는 방법을 공개하면서 널리 퍼졌습니다.

최근에는 둘을 별도 모델로 나누기보다 하나의 모델에서 사고량을 조절하는 방식이 일반적입니다. OpenAI는 reasoning_effort, Anthropic은 effort 파라미터와 모델이 스스로 사고량을 정하는 adaptive thinking을 제공합니다.

⚠️ 함정: 추론 모델에 "단계별로 생각해"(CoT 프롬프트)나 긴 풀이 예시를 넣는 것은 대개 효과가 없거나 오히려 방해가 됩니다. 모델이 이미 내부적으로 사고합니다. 추론 모델에는 목표·제약·완료 조건을 명확히 주는 편이 낫습니다. → 프롬프트 엔지니어링

#학습 과정

사람 대신 AI가 선호 판단을 하는 RLAIF, 원칙 목록으로 AI 피드백을 유도하는 Anthropic의 Constitutional AI도 선호 정렬 단계의 변형입니다.

• 파인튜닝이 실제로 무엇을 바꾸는지 → 파인튜닝은 무엇을 조정하는가, SFT와 RLHF
• 직접 해보기 → 파인튜닝, 파인튜닝 7단계

#학습 방식 관련 용어

자주 섞여 쓰이는 용어들입니다. 핵심 구분은 모델 가중치가 바뀌는가입니다.

⚠️ 함정: 퓨샷으로 안 되면 곧바로 파인튜닝으로 가기 쉽지만, 문제가 모델이 모르는 지식이라면 파인튜닝보다 RAG가 맞습니다. "지식이 없으면 RAG, 행동(형식·스타일·판단 기준)이 틀리면 파인튜닝"이 기본 판별 기준입니다.

#샘플링 파라미터

모델은 매 단계 어휘 전체에 대한 점수(logit)를 내고, 이를 확률 분포로 바꾼 뒤 어떤 토큰을 뽑을지를 샘플링 파라미터로 제어합니다.

logits ──(÷ temperature)──> softmax ──> 후보 자르기(top-k / top-p / min-p) ──> 샘플링 ──> 다음 토큰

verbose는 모델 파라미터가 아니라 LangChain 같은 프레임워크의 로깅 옵션으로, 실행 과정을 출력할지 정합니다.

#제공자별 지원 차이

샘플링 파라미터는 모델과 제공자에 따라 지원 여부가 크게 다릅니다. 특히 추론 모델은 내부 사고 과정의 보정을 깨뜨리지 않도록 샘플링 제어를 막는 추세입니다.

# Ollama 로컬 모델 호출 예시 — 옵션을 직접 지정
curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt": "다음 문장에서 날짜만 추출해줘: 회의는 2026년 9월 22일에 열린다.",
  "stream": false,
  "options": { "temperature": 0, "top_p": 0.9, "num_predict": 64, "stop": ["\n\n"] }
}'

⚠️ 함정: temperature: 0이어도 출력이 완전히 결정적이라는 보장은 없습니다. 서버의 배치 구성, 부동소수점 연산, 모델 업데이트에 따라 결과가 달라질 수 있습니다. 재현성이 필요한 테스트는 파라미터가 아니라 평가 데이터셋과 반복 측정으로 확보하세요. 또한 프레임워크가 기본값으로 temperature와 top_p를 함께 보내 새 모델에서 400 에러가 나는 사례가 흔하므로, 모델을 바꿀 때 요청 페이로드를 확인하세요.

생성 품질 문제를 진단할 때는 "분포 자체가 나쁜가(모델·프롬프트 문제)" vs "분포에서 잘못 뽑는가(디코딩 설정 문제)" 를 먼저 구분하면 빠릅니다. 같은 말을 반복하면 디코딩 설정부터 확인하세요.

#환각과 한계

환각(hallucination) 은 모델이 사실이 아닌 내용을 그럴듯하고 자신 있게 생성하는 현상입니다. 버그가 아니라 구조에서 나오는 성질입니다.

#원인

#완화 방법

⚠️ 함정: 같은 모델에게 "방금 답 확실해?"라고 되묻는 것은 검증이 아닙니다. 모델은 쉽게 입장을 바꾸거나 틀린 답을 더 그럴듯하게 방어합니다. 검증은 외부 근거(문서·코드 실행·테스트) 로 해야 합니다.

#모델 선택 기준

#오픈 웨이트 vs API

"오픈 소스"와 "오픈 웨이트"는 다릅니다. 가중치만 공개하고 학습 데이터·코드는 공개하지 않는 경우가 대부분이므로, 상업적 사용 전 라이선스 조항을 직접 확인하세요. 로컬 실행은 Ollama로 쉽게 시작할 수 있습니다.

#체크리스트

1. 과제 난이도 — 분류·추출은 작은 모델로 충분한 경우가 많습니다. 작은 모델부터 평가하고 부족할 때 올리세요.
2. 품질 — 공개 벤치마크가 아니라 내 데이터로 만든 평가셋 기준으로 비교합니다.
3. 지연과 처리량 — 실시간 UI인지 배치 작업인지에 따라 허용 범위가 다릅니다.
4. 비용 — 입력·출력·캐시 단가, 추론 모델의 사고 토큰까지 포함해 요청당 비용을 계산합니다.
5. 컨텍스트 길이 — 필요한 입력 크기와 출력 최대 길이를 확인합니다.
6. 기능 지원 — 도구 호출, 구조화 출력, 이미지 입력, 프롬프트 캐싱, 배치 API.
7. 한국어 품질 — 영어 벤치마크 순위가 한국어 성능을 보장하지 않습니다.
8. 데이터 거버넌스와 라이선스 — 개인정보·사내 데이터 반출 가능 여부, 리전, 상업적 이용 조건.

⚠️ 함정: 리더보드 1위 모델을 그대로 고르는 것. 벤치마크는 학습 데이터 오염, 과제 불일치 문제가 있고 순위는 몇 주 만에 바뀝니다. 모델을 쉽게 교체할 수 있도록 호출부를 추상화하고 평가셋을 먼저 만들어 두는 것이 모델 선택보다 오래 가는 투자입니다.

#모델 개발 흐름

모델을 직접 학습하거나 파인튜닝하는 프로젝트의 일반적인 단계입니다.

1. 목표와 요구사항 정의 — 프롬프트나 RAG로 해결되지 않는지 먼저 확인
2. 데이터 수집과 전처리 — 품질 필터링, 중복 제거, 개인정보 제거
3. 베이스 모델 선택과 아키텍처 결정
4. 학습 — 사전학습(드묾) 또는 파인튜닝(SFT, 선호 정렬)
5. 평가와 최적화 — 과제 평가셋, 기존 능력 퇴화 확인, 양자화·증류
6. 배포와 서빙
7. 모니터링과 유지보수 — 품질 드리프트, 비용, 사용자 피드백 수집

직접 소형 LLM을 처음부터 학습해 보고 싶다면 MiniMind 같은 교육용 프로젝트가 좋은 출발점입니다.

#용어

#참고 자료

• Vaswani et al. — Attention Is All You Need (2017)
• Brendan Bycroft — LLM Visualization (GPT 내부 동작 3D 시각화)
• Hugging Face — Summary of the tokenizers
• Ouyang et al. — Training language models to follow instructions with human feedback (InstructGPT)
• Rafailov et al. — Direct Preference Optimization
• DeepSeek-AI — DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
• Liu et al. — Lost in the Middle: How Language Models Use Long Contexts
• Kalai et al. — Why Language Models Hallucinate
• Anthropic — Models overview
• Anthropic — Messages API reference (sampling 파라미터 지원 현황)
• Hugging Face, ModelScope — 오픈 웨이트 모델 허브
• MiniMind — 소형 LLM을 처음부터 학습하는 교육용 프로젝트