Process · LLM 지식 위키 전체 요약

LLM 추론 파이프라인 흐름

요청 조립부터 Prefill/Decode 엔진, 컨텍스트·프롬프트·샘플링이라는 행동 제어층을 거쳐 지식/행동 결손을 RAG·파인튜닝으로 넘기기까지 — 21개 문서를 3개 레인 9단계로 압축. docs/ai/advanced/llm 전체 요약.

LLM 추론 파이프라인 흐름 요청 조립이 엔진 레인의 Prefill·Decode·스케줄링·추측디코딩을 거쳐 행동 레인의 컨텍스트 관리·프롬프트 설계·샘플링·능력 보강으로 이어지는 9단계 프로세스이며, 컨텍스트 관리가 핵심 관문으로 강조된 다이어그램. REQUEST ENGINE BEHAVIOR 1ASSEMBLE 2PREFILL 3DECODE 4SCHEDULE 5SPECULATE 6CONTEXT 7PROMPT 8SAMPLE 9AUGMENT REQ 요청 조립prefix stabilitytokenizer LS ENG PrefillO(N²) · TTFT ~90%attention engine LS DB ENG DecodeKV cache reuseKV cache · decoder DB DB ENG 스케줄링batching · P99 tailcontinuous batching DB DB ENG 추측디코딩speculate + verifydraft + verify model DB DB BEH 컨텍스트 관리attention budgetcontext window DB TB BEH 프롬프트 설계5-part · CoTprompt template TB TB BEH 샘플링temp = smoothingsampler TB FL BEH 능력 보강RAG or fine-tunecapability layer FL DATA TYPE LS · request/task DB · token state TB · curated prompt FL · sampled output LEFT IN · RIGHT OUT FLOW Context gate Sequential stage

Engine layer

Prefill·Decode는 병목 자원이 다르다

Prefill은 연산력 제약(O(N²), 첫 글자 지연의 90%), Decode는 메모리 대역폭 제약이다. KV Cache는 메모리로 연산력을 사는 고전적 트레이드오프이며, 재사용 횟수가 캐싱 가치를 결정한다. LLM 03 · 04 · 10

Behavior layer

윈도우 용량 ≠ 위치 구분력

담을 수 있는 양이 늘어난다고 어디에 있는 정보를 얼마나 정확히 꺼내는지가 함께 좋아지지 않는다. 주의력 희석과 Lost in the Middle은 롱컨텍스트의 물리 법칙이다. LLM 11 · 12 · 16

Capability

샘플링은 지식을 바꾸지 못한다

Temperature는 확률분포의 평활 계수일 뿐 추론을 바꾸지 않는다. 환각이 보이면 지식이 없으면 RAG, 행동이 없으면 파인튜닝으로 판별한다. LLM 18 · 19 · 20