#SFT와 RLHF는 무엇이 다른가

← 전체 목차 · 이전: 파인튜닝은 도대체 무엇을 조정하는가 · 다음: 파인튜닝 7단계 완전 절차

둘은 서로 다른 두 층위의 문제를 푼다.

#출발점: 사전학습 후의 모델은 "끝말잇기 기계"다

• 비유: 대규모 모델은 의무교육을 막 마친 아이와 비슷하다. 머릿속에 방대한 세계 지식이 들어 있다 — 이것이 사전학습 단계다.
• 그러나 이때 곧바로 질문하면 높은 확률로 성실히 답하는 것이 아니라 당신의 말을 이어서 계속 써 내려간다.
• 본질: 끝말잇기 기계.

#SFT: 지도 파인튜닝 = 모방 학습

• 정식 명칭: 지도 파인튜닝(Supervised Fine-Tuning).
• 핵심 목표: 모델이 지시를 알아듣게 하고 지정된 형식으로 답하게 만든다.
• 방법: 고품질 예시를 대량으로 모방한다. 엔지니어가 우수한 문답 쌍을 먹이며 "이런 문제를 만나면 이렇게 답해야 한다"고 명확히 알려준다.
• 본질: 모델이 표준 답안의 표현 방식을 학습한다.
• 비유: 사부가 손을 잡고 제자를 가르치는 것. 사부가 하는 대로 제자가 따라 연습한다.

#SFT의 효과와 한계

한계(상한이 라벨링 데이터의 품질에 갇힌다):

1. 제자가 모방과 암기만으로는 대개 사부를 넘어서기 어렵다.

2. 표준 답안을 쓴 사람의 수준이 평범하면 → 모델이 학습한 결과도 평범해지기 쉽다.

3. 인간이 "답이 좋은가"를 판단하는 기준은 매우 미묘하다. 예:

   • 답변 논리에는 문제가 없지만 어조가 충분히 친절하지 않다
   • 내용은 대체로 맞지만 표현이 충분히 신중하지 않다

   이런 미세한 좋고 나쁨의 차이는 SFT 같은 모방 학습만으로는 온전히 가르치기 어렵다.

#RLHF: "표준 답안"을 "심판의 채점"으로 바꾸다

• 정식 명칭: 인간 피드백 기반 강화학습(Reinforcement Learning from Human Feedback).
• 전제: 많은 문제에는 애초에 유일한 표준 답안이 없다. 그래서 표준 답안을 직접 밀어 넣지 않는다.
• 핵심: 모델 출력을 인간의 선호와 정렬시킨다.
• 메커니즘: 각 문장을 어떻게 말할지 규정하는 대신 심판 = 보상 모델을 둔다. 모델이 답변을 생성할 때마다 심판이 점수를 매겨 어떤 답변이 더 좋은지 알려준다.

#채점 기준

비유: 제자에게 자유롭게 글을 쓰게 하고, 다 쓰고 나면 사부가 문장마다 첨삭하지 않고 전체 품질로 점수를 매긴다.

모델은 더 높은 점수를 받기 위해 계속 시도하며 답변 전략을 최적화한다.

#RLHF가 가져오는 돌파

끊임없는 시도로 최적화  →  고정된 답안을 돌파  →  SFT 데이터를 뛰어넘음

• 더 이상 라벨러가 써낸 고정 답안에 완전히 갇히지 않는다.
• 심지어 SFT 학습셋보다 더 좋은 내용을 생성할 기회가 생긴다.
• RLHF가 주로 향상시키는 세 가지: 안전성, 유용성, 정직성.

#3단 학습 흐름

  사전학습 Pre-training
      │  코퍼스: 방대한 무라벨 텍스트
      │  목표: 다음 token 예측
      │  산출물: 지식은 있지만 「끝말잇기」만 하는 이어쓰기 기계
      ▼
  SFT 지도 파인튜닝
      │  데이터: 사람이 작성한 고품질 【문답 쌍】(시범 데이터)
      │  신호: token 단위의 표준 답안 (모방 / 지도학습)
      │  목표: 지시 이해 + 지정된 형식으로 답하기
      │  비유: 사부가 손을 잡고 제자를 가르침
      │  병목: 상한이 【라벨링 데이터 품질】에 갇혀 사부를 넘기 어려움
      ▼
  RLHF 인간 피드백 기반 강화학습
      │  데이터: 여러 답변에 대한 인간의 【선호 순위】
      │  구성 요소: 보상 모델(심판) → 답변 전체에 점수
      │  신호: 스칼라 보상 (강화학습)
      │  목표: 인간 선호와 정렬
      │  비유: 제자가 자유롭게 쓰고, 사부는 첨삭 없이 전체 품질로 채점
      │  수익: 안전성 ↑ 유용성 ↑ 정직성 ↑, SFT 데이터를 넘어설 수 있음
      ▼
  사용 가능한 AI 어시스턴트

#핵심 통찰

1. SFT와 RLHF를 구분하는 올바른 진입점은 "감독 신호의 형태"이지 "학습 순서"가 아니다 — SFT의 감독 신호는 token 단위의 표준 답안(모방)이고, RLHF의 감독 신호는 출력 전체에 대한 스칼라 점수(선호)다. 이것을 먼저 말하는 편이 "하나는 파인튜닝이고 하나는 강화학습"보다 한 층 높다.
2. 모방 학습의 성능 천장 = 시범 데이터의 품질 천장 — SFT의 가장 본질적인 한계이며 "제자가 사부를 넘기 어렵다"는 비유의 기술적 내핵이다. 돌파하려면 문장 단위 라벨링에 의존하지 않는 신호를 도입할 수밖에 없다.
3. "유일한 표준 답안이 없는" 작업은 본래 지도가 아니라 선호로만 최적화할 수 있다 — 개방형 생성, 어조, 안전 경계 같은 목표는 label로 쓸 수 없고 "A가 B보다 낫다"로만 쓸 수 있다. RLHF가 존재하는 근본 이유다.
4. 인간 선호의 "미묘함"은 학습 가능하지만 상대 비교를 통해서만 가능하다 — 논리는 맞는데 어조가 나쁘다, 내용은 맞는데 표현이 신중하지 않다 같은 차이는 표준 답안에 적을 수 없지만 채점기는 포착할 수 있다. 보상 모델의 가치는 "말로 설명하기 어렵지만 보면 아는" 판단을 최적화 가능한 수치로 인코딩하는 데 있다.
5. 보상 모델은 "사부의 대역"이며 인간의 판단을 규모화한다 — 인간이 모든 출력에 점수를 매길 수는 없으므로, 먼저 인간 선호 데이터로 심판을 하나 학습시킨 뒤 그 심판이 무한히 많은 점수를 매기게 한다. 이 층을 이해해야 "RLHF에서 인간은 정확히 어느 단계에 참여하는가"에 답할 수 있다.
6. RLHF가 SFT 데이터를 넘어설 수 있는 전제는 보상 신호가 시범 데이터보다 신뢰할 만한 것이다 — "사부를 넘어서는 것"은 공짜가 아니다. 심판 자체에 편향이 있으면 모델은 심판의 비위를 맞추는 법(보상 해킹, Reward Hacking)만 배운다.
7. 3단 학습이 세 가지 능력에 대응하며 하나도 빠질 수 없다 — 사전학습이 지식을, SFT가 형식과 지시 준수를, RLHF가 가치관과 선호 정렬을 준다. 어느 한 단계만 해서는 쓸 만한 어시스턴트가 나오지 않는다.

#엔지니어링 실전 Tips

• SFT 단계의 예산은 데이터 수량이 아니라 데이터 품질에 써야 한다 — 상한이 라벨링 품질에 갇혀 있으므로, 저품질 예시의 규모를 키우는 것은 같은 천장에 더 빨리 도달하는 것뿐이다.
• "형식/지시 준수" 계열 문제는 SFT로, "어조/안전/가치관" 계열 문제는 RLHF로 — 도구를 잘못 쓰는 것이 흔한 낭비다. SFT 샘플을 늘려 어조를 조정하려 하면 비용이 크고 효과도 불안정하다.
• 보상 기준은 판정 가능한 체크리스트로 쓸 수 있어야 한다: 가점 항목(예의 바름, 신뢰성, 지어내지 않음, 환각 없음)과 감점 항목(헛소리, 위험, 가치관 위배)이 그 자체로 실행 가능한 평가 차원 초안이다.
• "문장 단위 첨삭"과 "전체 채점" 두 피드백 입도를 구분할 것: 전자는 지도 파인튜닝에, 후자는 강화학습에 대응한다. 자체 라벨링 방안을 설계할 때 입도를 먼저 정하고 라벨링 형식을 정할 것.
• 비유와 기제를 양방향으로 매핑할 수 있게 준비할 것: 사부/제자/심판(비유)과 감독 신호/보상 모델(기제)을 오갈 수 있어야 각도를 바꾼 추가 질문에도 답할 수 있다.
• 더 파고들 방향: 보상 해킹(Reward Hacking)과 KL 제약 — RLHF가 무한히 "사부를 넘어설" 수 없는 이유. DPO 등 보상 모델을 생략하는 선호 최적화 방법. 선호 데이터의 수집과 순위 라벨링 절차.