#Fine-tuning 파인튜닝

파인튜닝은 이미 사전학습(pre-training)된 모델에 내 작업용 데이터로 추가 학습을 시켜 가중치 자체를 바꾸는 작업입니다. 프롬프트·RAG 가 "입력"을 바꾸는 것이라면 파인튜닝은 "모델"을 바꿉니다. 그래서 효과가 강한 대신 되돌리기 어렵고, 데이터와 평가 체계가 없으면 반드시 실패합니다.

핵심 한 줄: 파인튜닝은 모델에게 지식을 넣는 것이 아니라 일하는 방식(형식·어조·작업 습관)을 가르치는 것입니다. 모르는 사실을 알게 하려면 RAG 가 먼저입니다.

#언제 파인튜닝하나

비용이 싼 순서대로 올라가는 것이 원칙입니다. 프롬프트 → RAG → 파인튜닝. 앞 단계에서 해결되면 멈춥니다.

판별 질문 하나로 줄이면: "모델이 더 많이 알기를 원하는가, 아니면 내가 원하는 방식대로 행동하기를 원하는가?" 앞이면 RAG, 뒤면 파인튜닝입니다. 실무에서는 파인튜닝으로 형식·어조를, RAG 로 사실·최신성을 맡기는 조합이 흔합니다. → RAG 개요

⚠️ 함정: "우리 회사 문서 10만 건으로 파인튜닝하면 회사 전문가 모델이 된다"는 가장 흔한 오해입니다. 문서를 통째로 학습시키면 모델은 문체는 흉내 내지만 사실은 정확히 기억하지 못하고, 오히려 그럴듯한 오답(환각)을 자신 있게 냅니다. 게다가 문서가 바뀌면 모델을 다시 만들어야 합니다.

⚠️ 함정: 파인튜닝의 이득은 베이스 모델이 좋아질수록 줄어듭니다. 새 모델이 나올 때마다 "프롬프트만으로 이제 되는가"를 다시 확인하세요. OpenAI 가 2026년 셀프서브 파인튜닝 플랫폼을 종료하며 내세운 이유도 "최신 모델은 파인튜닝 없이도 충분하다"였습니다.

#학습 단계에서 파인튜닝의 위치

• 사전학습: 인터넷 규모 텍스트로 "다음 토큰 예측"을 배웁니다. 이 단계의 모델은 지시를 따르지 못하고 글을 이어 쓰기만 합니다.
• SFT·정렬: 지시를 따르고, 사람이 선호하는 방식으로 답하게 만듭니다. 우리가 쓰는 -Instruct, -Chat 모델은 여기까지 끝난 모델입니다.
• 실무의 파인튜닝은 대부분 Instruct 모델 위에 SFT 를 한 번 더 얹는 것입니다.

더 깊은 원리는 딥다이브를 보세요. → 파인튜닝은 무엇을 조정하는가, SFT와 RLHF

#방식 — 무엇을 학습시키나

#1. 학습 목표(데이터 형태)에 따른 분류

• SFT 의 한계: 정답 하나를 흉내 낼 뿐 "어느 답이 더 나은가"는 모릅니다. 그래서 SFT → DPO 순서로 쌓는 것이 일반적입니다.
• GRPO(Group Relative Policy Optimization)는 DeepSeekMath 논문에서 제안된 방식으로, 한 프롬프트에 여러 답을 생성해 그룹 내 상대 점수로 학습합니다. 별도 가치(value) 모델이 필요 없어 PPO 보다 가볍습니다. OpenAI 는 채점기 기반 강화학습 파인튜닝을 RFT(Reinforcement Fine-Tuning)라고 부릅니다.

#2. 업데이트 범위에 따른 분류

#Full Fine-tuning

모델의 모든 파라미터를 업데이트합니다. 표현력이 가장 크지만 GPU 메모리·시간이 가장 많이 들고, 모델 전체를 버전별로 저장해야 합니다. 원래 능력을 잃는(catastrophic forgetting) 위험도 가장 큽니다.

#Partial Fine-tuning / Layer Freezing

일부 레이어만 학습하고 나머지는 "얼려" 둡니다.

• Layer Freezing: "이 레이어는 학습하지 마라"라고 고정하는 기법
• Partial Fine-tuning: "일부 레이어만 학습하겠다"는 전략

보통 앞쪽(일반적 표현) 레이어를 얼리고 뒤쪽(작업 특화) 레이어를 학습합니다. LLM 에서는 아래 PEFT 에 거의 대체됐습니다.

#PEFT (Parameter-Efficient Fine-Tuning)

원본 가중치는 얼리고, 아주 작은 추가 파라미터만 학습합니다. 오늘날 LLM 파인튜닝의 사실상 표준입니다.

실무 선택은 거의 LoRA 또는 QLoRA 입니다. Prefix/Prompt Tuning 계열은 연구·특수 목적 외에는 드뭅니다.

#Full vs LoRA vs QLoRA

• LoRA 의 운영상 장점: 베이스 모델 하나에 작업별 어댑터 여러 개를 갈아 끼울 수 있습니다. vLLM 같은 서빙 엔진은 여러 LoRA 어댑터를 동시에 서빙하는 기능을 제공합니다.

⚠️ 함정: QLoRA 로 학습한 어댑터를 4비트 모델에 그대로 병합하면 품질이 떨어질 수 있습니다. 병합은 16비트 원본 베이스 모델을 불러와서 하고, 배포용 양자화(GGUF Q4 등)는 병합 이후에 따로 하세요.

#GPU 메모리 대략 추정

정확한 값은 시퀀스 길이·배치·구현에 따라 크게 달라집니다. 감을 잡기 위한 경험칙입니다.

#데이터셋 — 성패의 80%

알고리즘보다 데이터 품질이 결과를 결정합니다. 기준이 일관된 수백 건이 뒤죽박죽인 수만 건을 이깁니다. (LIMA 논문은 정제된 1,000건의 SFT 만으로도 강한 정렬 효과를 보고했습니다.)

#데이터 형식

대화형 모델은 chat(messages) 형식이 표준입니다. 학습 프레임워크가 모델의 chat template 을 자동으로 적용합니다.

{"messages": [{"role": "system", "content": "너는 사내 IT 헬프데스크 봇이다. 3문장 이내로 답한다."}, {"role": "user", "content": "VPN 이 자꾸 끊겨요"}, {"role": "assistant", "content": "먼저 VPN 클라이언트를 최신 버전으로 업데이트해 주세요. 그래도 끊기면 네트워크를 유선으로 바꿔 재접속해 보세요. 계속되면 헬프데스크 티켓에 접속 로그를 첨부해 주세요."}]}

한 줄에 샘플 하나인 JSONL 로 저장합니다. 선호 정렬(DPO)은 prompt / chosen / rejected 형태를 씁니다.

{"prompt": [{"role": "user", "content": "VPN 이 자꾸 끊겨요"}], "chosen": [{"role": "assistant", "content": "먼저 VPN 클라이언트를 최신 버전으로..."}], "rejected": [{"role": "assistant", "content": "네트워크 문제일 수 있습니다. 인터넷 연결을 확인하세요."}]}

실행 가능한 전체 흐름은 실습 예제에 있습니다.

#데이터 품질 체크리스트

⚠️ 함정: 모델은 먹인 대로 배웁니다. 더러운 데이터는 양으로 "희석"되지 않고 모델을 "오염"시킵니다. 데이터를 더 긁어모으기 전에 있는 데이터를 지우고 고치는 쪽에 먼저 사람을 쓰세요.

#데이터셋 거버넌스 구축

1. 요구사항 분석 단계에서 데이터도 함께 확인
   • 데이터의 종류
   • 데이터의 수량
   • 정답의 내용과 형식
2. 기술팀과 기획팀의 협업
   • 기획: 구체적인 요구사항과 사용자 시나리오를 제공
   • 기술: 실현 가능성을 검토하고 필요한 데이터의 특성을 분석
   • 공동으로 데이터셋 구축 가이드라인(라벨링 규범)을 작성
3. 데이터셋 정의
   • 입력 데이터의 형식과 특성
   • 출력 데이터의 형식과 요구사항
   • 중간 처리 과정에서 필요한 데이터 형식
4. 버전 관리: 데이터셋 버전 ↔ 학습 설정 ↔ 모델 체크포인트 ↔ 평가 결과를 한 묶음으로 기록합니다. 어떤 데이터가 어떤 모델을 만들었는지 추적할 수 없으면 회귀가 났을 때 원인을 찾을 수 없습니다.
5. 데이터 수집과 애플리케이션 설계·구현을 반복하며 개선: 운영 중 실패 사례를 다시 학습·평가 데이터로 되돌려 넣습니다.

#데이터 증강 — CRAFT 방법론

CRAFT(Corpus Retrieval and Augmentation for Fine-Tuning)는 사람이 쓴 소수의 예시(few-shot)만으로 작업 특화 대규모 합성 데이터셋을 만드는 방법입니다. LLM 이 무에서 데이터를 지어내게 하는 대신, 대규모 웹 코퍼스에서 사람이 쓴 관련 문서를 검색해 와서 그것을 작업 형식으로 변환합니다. 그래서 순수 합성 데이터보다 다양하고 사실 기반입니다.

1. 태스크 기준을 명확히 정의하고 소수의 예시를 작성
2. 대규모 코퍼스로 임베딩 데이터베이스 구축
3. 예시와 유사한 관련 문서 검색
4. 지시 튜닝된 LLM 이 문서를 작업 형식(질문-답변 등)의 샘플로 변환
5. 합성 샘플로 데이터셋 생성 후 파인튜닝

논문은 생물·의학·상식 QA·요약 작업에서 CRAFT 데이터로 학습한 모델이 범용 LLM 과 비슷하거나 더 나았고, 요약에서는 사람이 정제한 데이터로 학습한 모델보다 선호도가 높았다고 보고합니다.

그 밖의 증강 방식:

• 증류(Distillation): 강한 모델로 답을 생성해 작은 모델의 학습 데이터로 씁니다. 모델 제공사 약관에서 출력의 학습 사용을 허용하는지 반드시 확인하세요.
• Self-Instruct / Evol-Instruct: 시드 지시문에서 LLM 이 새 지시문을 만들고 점점 어렵게 변형합니다.
• 역번역·패러프레이즈: 같은 의미의 다양한 입력 표현을 늘립니다.

⚠️ 함정: 합성 데이터는 생성 모델의 버릇(말투, 오류)까지 복제합니다. 합성 데이터만으로 학습하면 다양성이 줄어듭니다. 사람이 검수한 샘플을 반드시 섞고, 테스트셋은 합성 데이터가 아닌 실제 데이터로 만드세요.

#학습 절차

1. 목표 정의: 무엇이 좋아져야 하는지 측정 가능한 지표로 씁니다. ("JSON 파싱 성공률 95% → 99%")
2. 데이터셋 준비: 입력(프롬프트)과 원하는 출력을 매핑한 데이터를 확보·생성합니다.
3. 데이터셋 분할: 학습(train) / 검증(validation) / 테스트(test)로 나눕니다. 검증셋은 하이퍼파라미터·조기 종료 판단에, 테스트셋은 최종 평가에만 씁니다.
4. 베이스라인 측정: 학습 전 베이스 모델(+최선의 프롬프트) 점수를 테스트셋에서 먼저 잽니다. 이게 없으면 파인튜닝이 효과가 있었는지 알 수 없습니다.
5. 하이퍼파라미터 설정: 아래 기본값에서 시작해 검증셋으로 조정합니다.
6. 학습: 검증 loss 가 더 이상 좋아지지 않으면 멈춥니다(조기 종료).
7. 평가: 테스트셋에서 목표 지표 + 범용 능력 회귀를 함께 봅니다. → 평가
8. 배포·모니터링: 운영 중 입력 분포 변화(drift)를 모니터링하고, 실패 사례를 다음 데이터셋에 반영합니다.

각 단계의 판단 기준과 증상별 처방은 → 파인튜닝 7단계

#하이퍼파라미터 기본

아래는 출발점이지 정답이 아닙니다. 데이터·모델마다 검증셋으로 확인하세요.

• 손실 마스킹: 사용자 입력 부분이 아니라 assistant 답변 토큰에만 loss 를 계산하는 설정(TRL assistant_only_loss, MLX --mask-prompt 등)을 확인하세요. 입력까지 학습하면 질문 문체를 흉내 내는 부작용이 생깁니다.

#과적합과 Catastrophic Forgetting

• 연구("LoRA Learns Less and Forgets Less")에 따르면 LoRA 는 Full FT 보다 새 작업을 덜 배우는 대신 원래 능력도 덜 잊습니다. 망각이 걱정되면 LoRA 가 안전한 기본값입니다.

⚠️ 함정: train loss 가 0 에 가까워지면 좋은 신호가 아니라 암기 신호입니다. loss 곡선만 보고 판단하지 말고, 반드시 학습에 쓰지 않은 테스트셋의 실제 출력을 읽어 보세요.

⚠️ 함정: 파인튜닝은 안전 정렬도 약화시킬 수 있습니다. 무해한 데이터로만 학습해도 원래 거절하던 요청을 수행하게 되는 사례가 보고돼 있습니다. 배포 전 안전성·거절 테스트를 평가셋에 포함하세요.

#비용

GPU 시간은 생각보다 작은 비중인 경우가 많습니다. 전체 비용을 보세요.

얻는 것: 긴 퓨샷 프롬프트 제거로 인한 토큰 절감, 작은 모델로 대체해 얻는 지연·비용 절감, 형식 안정성으로 인한 재시도 감소. 이 이득이 위 비용을 넘는지 계산해 보고 시작하세요.

#도구 비교

⚠️ 함정: 매니지드 파인튜닝은 플랫폼 종속입니다. OpenAI 사례처럼 서비스가 종료되거나 베이스 모델이 폐기되면 파인튜닝 모델도 수명이 끝납니다. 학습 데이터·평가셋은 반드시 내 쪽에 보관해 다른 모델로 재학습할 수 있게 하세요. 진짜 자산은 가중치가 아니라 데이터와 평가셋입니다.

#데이터셋 참고

공개 데이터셋은 **라이선스(상업적 이용 가능 여부)**를 반드시 확인하세요.

#참고 자료

• 파인튜닝은 무엇을 조정하는가 (딥다이브)
• SFT와 RLHF (딥다이브)
• 파인튜닝 7단계 (딥다이브)
• Hu et al. — LoRA: Low-Rank Adaptation of Large Language Models
• Dettmers et al. — QLoRA: Efficient Finetuning of Quantized LLMs
• Rafailov et al. — Direct Preference Optimization
• Ouyang et al. — Training language models to follow instructions with human feedback (InstructGPT/RLHF)
• Shao et al. — DeepSeekMath (GRPO)
• Zhou et al. — LIMA: Less Is More for Alignment
• Biderman et al. — LoRA Learns Less and Forgets Less
• Qi et al. — Fine-tuning Aligned Language Models Compromises Safety, Even When Users Do Not Intend To!
• Thinking Machines — LoRA Without Regret
• Ziegler et al. — CRAFT Your Dataset
• Hugging Face TRL — SFT Trainer
• OpenAI — Deprecations (fine-tuning platform wind-down)