#Rerank 모델은 언제 반드시 필요한가

← 전체 목차 · 이전: Top K는 도대체 어떻게 정하나 · 다음: 분산된 문서 증거를 어떻게 조립하는가

판정 기준: 1단계 리콜이 후보를 찾아낼 수는 있는데 정렬 품질이 불안정할 때 재정렬을 도입해야 한다. 재정렬이 푸는 것은 **"찾지 못하는 것"이 아니라 "찾았는데 앞으로 올라오지 못하는 것"**이다.

둘은 대체 관계가 아니라 거친 리콜과 정밀 정렬의 이어달리기 관계다.

#반드시 재정렬을 써야 하는 세 시나리오

#시나리오 1: 사용자 질문이 매우 구체적이다

• 전형적 질문 유형: 계약 조항, 오류 코드, 제품 모델명, 제도 세칙.
• 문제 특징: 1단계 리콜이 유사한 텍스트를 한 무더기 찾아내지만, 정말로 질문에 답할 수 있는 것은 그중 한두 단락뿐이다.
• 재정렬 없을 때의 결과: 핵심 정보가 앞으로 올라오지 못한다(Top-K 절단 지점에서 밀려난다).

#시나리오 2: chunk 수량이 방대하다

• 트리거 지점: 기업 지식베이스가 규모에 오르면 벡터 유사도가 "의미는 가깝지만 답변 가치는 다른" 조각을 대량으로 리콜하기 쉽다.
• 가장 함정에 빠지기 쉬운 문서 유형(고도로 동질화 — 문서들이 다 비슷하게 생김):
  1. 템플릿화된 문서
  2. 제도 문서
  3. FAQ 문답
• 재정렬의 역할: 벡터 거리만 비교하는 것이 아니라 "질문 ↔ 후보 증거" 사이의 매칭 관계를 더 세밀한 입도로 비교한다.

#시나리오 3: 혼합 검색(Hybrid Search) 이후

• 혼합 검색 조합: BM25 리콜 + 벡터 리콜 → 서로 다른 출처의 후보 결과를 얻는다.
• RRF(Reciprocal Rank Fusion)의 위치: 안정적 융합 — 서로 다른 출처의 점수를 1차 통합한다.
• 한계: RRF 융합 결과는 "균형 잡혀 보일 뿐" 반드시 가장 정확한 것은 아니다.
• 그러므로 재정렬 모델이 최종 방어선이며 최종 정밀 정렬을 담당한다.

#비용 제약: 재정렬은 공짜 점심이 아니다

• 대가: 지연 증가 + 비용 증가, 그리고 후보 수량이 많을수록 재정렬 오버헤드가 커진다.
• 엔지니어링 규칙: 절대로 전량 문서에 재정렬을 하지 말 것.

핵심 마음가짐: 관건은 후보 규모를 통제하는 것이다.

#재정렬 효과는 평가로 검증해야지 감으로 하면 안 된다

#반례: 단순 FAQ 시나리오에서는 맹목적으로 도입하지 말 것

• 1단계 리콜이 이미 충분히 정확하다면 → 재정렬 추가 = 득보다 실, 게다가 지연 증가.
• 최종 결론: 재정렬을 쓸지는 데이터를 보고 정할 것(평가 결과를 볼 것)이지 "남들이 다 쓰니까"가 아니다.

#의사결정 흐름

① 먼저 1단계 리콜의 「핵심 증거 적중률」을 측정
       │
       ├─ 적중률이 낮다(증거가 애초에 건져지지 않음)
       │      → 문제는 리콜에 있다: 청킹 전략 변경 / Embedding 교체 / 키워드·혼합 검색 추가
       │        (이때 재정렬을 붙여도 무효)
       │
       └─ 적중률은 높은데 답변 정확률이 낮다(건졌는데 앞으로 못 올라옴)
              → 문제는 정렬에 있다: Rerank 도입 ✅

반드시 재정렬해야 하는 세 시나리오
─────────────────────────────
시나리오 1: 사용자 질문이 매우 구체적(계약 조항 / 오류 코드 / 제품 모델명 / 제도 세칙)
시나리오 2: Chunk 수량이 방대(템플릿 문서 / 제도 문서 / FAQ의 동질화가 심각)
시나리오 3: 혼합 검색 이후(BM25 + 벡터, RRF 융합 후에도 정밀 정렬이 필요)

#핵심 통찰

1. 재정렬이 푸는 것은 "정렬 문제"이지 "리콜 문제"가 아니다 — Rerank를 붙일지 판단하려면 먼저 1단계의 Recall을 볼 것. 핵심 증거가 애초에 리콜되지 않았다면 재정렬을 아무리 붙여도 되살릴 수 없고, "건질 수는 있는데 올라오지 못할" 때라야 재정렬에 가치가 있다.
2. "관련 있음"과 "쓸모 있음"은 서로 다른 두 양이다 — 벡터 유사도가 재는 것은 의미 관련성인데, 질문에 답하려면 "답을 뒷받침할 수 있는" 증거가 필요하다. 두 목표가 일치하지 않는 것이 재정렬이 존재하는 근본 이유다.
3. 문서 동질화가 벡터 검색의 천적이다 — 템플릿화 문서, 제도 문서, FAQ는 벡터 분포가 고도로 밀집해 유사도 점수의 차이가 극히 작고 정렬이 거의 무작위에 가깝다. 지식베이스에 이 세 유형의 비중이 높으면 기본적으로 재정렬을 붙여야 한다.
4. 다경로 융합 ≠ 최적 정렬 — RRF는 "안정적"일 뿐(어느 한 경로의 이상 점수에 휘둘리지 않음) "정확한" 것은 아니다. 서로 다른 차원의 점수를 같은 척도로 끌어올 뿐 새로운 관련성 판단 정보를 도입하지 않으므로, 융합 후에도 재정렬의 최종 재정이 필요하다.
5. 재정렬 비용은 후보 수에 선형이므로 아키텍처는 깔때기여야 한다 — Cross-Encoder 계열 재정렬은 후보마다 한 번씩 순전파를 해야 하므로 비용 = 단위 비용 × 후보 수다. 그래서 엔지니어링에서는 "백만 급 → 50100 → 510"의 2단 수렴만 가능하고 한 번에 도달할 수 없다.
6. 기술 선택은 정량 지표로 떨어져야 한다 — "Rerank를 붙였더니 좋아진 느낌"은 결론이 아니다. 네 지표(핵심 증거 적중률 / 답변 정확률 / 인용 정확률 / 지연 비용)가 "효과"와 "대가"를 동시에 테이블에 올려놓아야 진짜 trade-off를 할 수 있다.
7. 쓰지 않을 수 있으면 쓰지 않는 것이 성숙한 엔지니어의 기본 자세다 — 단순 FAQ 시나리오는 1단계가 이미 충분히 정확해서 재정렬을 더하면 지연 증가만 얻는 순손실이다. 어떤 컴포넌트를 도입하든 "그것이 실재하는 문제를 해결했음"을 증명해야 한다.

#엔지니어링 실전 Tips

• 후보 규모 통제가 재정렬의 제1 제약이다: Top 50~100 리콜이 비용과 효과의 경험적 균형점이며, 후보를 너무 많이 주는 것은 선형으로 돈과 지연을 태우는 것뿐이다.
• 재정렬의 출력 규모는 컨텍스트 예산에 맞출 것: 최종 Top 5~10 단락을 남기면 prompt 길이를 통제하면서 모델이 무관한 조각에 방해받을 확률도 낮춘다.
• 전량 문서에 재정렬하지 말 것 — 이것은 강성 레드라인이다. 백만/천만 급 문서 라이브러리에서 전량 재정렬은 완전히 불가능하다.
• 혼합 검색 링크에서 RRF와 Rerank는 직렬이지 양자택일이 아니다: RRF는 경로 간 정규화를, Rerank는 최종 재정을 담당한다.
• 출시 전후에 같은 평가셋을 돌릴 것: 최소한 핵심 증거 적중률, 답변 정확률, 인용 정확률 세 효과 지표와 지연 비용이라는 대가 지표를 커버할 것.
• 시나리오별로 차등 설정할 것: 같은 시스템 안에서도 단순 FAQ 계열 조회는 재정렬을 건너뛰는 빠른 경로로, 복잡한 검색 계열 조회만 재정렬에 넣어 전역 지연 증가를 피할 것.
• 더 파고들 방향: 재정렬 모델의 구체적 선택(Cross-Encoder 계열 vs LLM-as-Reranker)과 지연 비교, 핵심 증거 적중률(Recall@K / Hit Rate) 평가셋 구축 방법, 장문서에서 청킹 전략이 동질화 문제를 완화하는 정도, 조회 복잡도에 따라 재정렬 발동 여부를 정하는 빠른/느린 이중 경로 아키텍처.