#범용 Embedding으로 업종 지식베이스를 돌리면 왜 실패하나 — 수직영역 언어 적응

← 전체 목차 · 이전: BM25와 벡터 검색은 도대체 무엇이 다른가 · 다음: RAG 검색 전략은 어떻게 설계하는가

"모델을 바꾸고 청크를 더 잘게 자른다"는 답은 층위를 잘못 짚은 것이다. 전문용어가 밀집하고 업계 은어가 많은 지식베이스(의료·법률·금융 등)에서 범용 Embedding의 리콜률이 무너지는 원인은 파라미터 층이 아니라 표현 층에 있다. 청크를 아무리 잘게 잘라도, 같은 압축된 의미 공간을 더 잘게 나눈 것일 뿐이다.

#왜 벡터 모델을 바꿔도 안 되는가

범용 의미 표현과 업종별 언어 체계는 완전히 다른 두 축이다. 범용 Embedding은 일반 코퍼스에서 학습되었으므로, 업종 은어와 그 서면 표준 용어가 범용 텍스트에서는 거의 함께 등장하지 않는다 — 그래서 벡터 거리가 아주 멀게 벌어진다.

일반 시나리오: 동의어의 벡터 거리가 충분히 가까움
    "환불" ↔ "반품 처리"  → 거리 근접, 정상 리콜

수직 시나리오: 업종 은어와 서면 표준 용어의 벡터 거리가 멀리 벌어짐
    업계 은어 A ↔ 서면 표준 용어 A  → 거리 원거리, 리콜 실패
                                       (사용자가 "말만 바꿔도 검색이 안 됨")

이 장애는 에러를 내지 않는다. 사용자가 표현을 바꾸면 조용히 리콜이 실패할 뿐이라, 리콜 일관성 지표로 능동적으로 탐지하지 않으면 영원히 드러나지 않는다.

#4가지 적응 방안과 적용 시나리오

판정 기준은 "통용 자문 시나리오"인가 "전문 시나리오"인가로 가른다.

#사전가중(용어사전)과 벡터 표현은 대체가 아니라 상호보완

둘을 조합해야 "알려진 용어는 정확히, 낯선 말투도 리콜 가능"이라는 두 요구를 동시에 만족시킨다. 이것이 "의미 공백을 메운다"는 것의 실체다.

#미세조정 언어자료의 선택 기준

잘못된 방식: 문서에서 무작위 슬라이스 추출
  → 최적화 대상이 언어자료의 「평균 분포」가 됨
  → 실제로는 거의 검색되지 않는 구석까지 학습 비용을 분산

올바른 방식: 고빈도 질의 + 핵심 용어 기반 구축
  → 최적화 대상이 「업무 명중률이 높은 영역」이 됨
  → 같은 학습 비용으로 실제 검색 트래픽을 더 많이 커버

#적응 등급의 성숙도 사다리

L1  아무 처리 없이 범용 모델 직결
L2  동의어·용어사전 매핑 추가
L3  용어사전 + 벡터 표현 조합, 미세조정 시작
L4  언어자료 준입 표준 + 회귀 평가 + 상시 모니터링을 갖춘 거버넌스 체계

#거버넌스 체크리스트(팀 규범으로 침전)

1. 업종 언어자료 준입 표준(출처·시효성·전문도 문턱)
2. 핵심 용어사전 유지 프로세스(수집·갱신·책임자 지정)
3. 단일 업종 미세조정 샘플량·평가셋 커버리지 레드라인
4. 고빈도 전문 질의 자동 탐지와 언어 강화
5. 도구를 활용한 영역 효과 회귀 테스트의 배치화
6. 리콜 정확률 전체 링크 모니터링
7. 신규 업종 지식베이스 출시 전 중점 복심(의료·금융·법무는 가중)
8. 위 전부를 레드라인 게이트로 못 박을 것: "용어 강화 없음 + 효과 평가 없음"인 수직영역 RAG는 출시 금지

#핵심 통찰

1. 수직영역 RAG의 실패 근인은 표현 공간에 있지 청크 크기에 있지 않다 — 전문용어와 업계 은어가 범용 벡터 공간에서 충분히 구분되지 않았다는 뜻이므로, 청크를 아무리 잘게 잘라도 이미 뭉개진 의미를 더 잘게 나눌 뿐이다. 모델 교체·파라미터 조정은 표현 층 문제에 파라미터 층 해법을 들이대는 층위 오류다.
2. "말을 바꾸면 검색이 안 됨"은 수직영역의 특징적 장애이며 에러를 내지 않는다 — 통용 시나리오는 동의어의 벡터 거리가 충분히 가까워 별문제가 안 되지만, 업계 은어와 서면 용어는 통용 코퍼스에서 거의 함께 등장하지 않아 거리가 크게 벌어진다. 리콜 일관성 지표로 능동 탐지하지 않으면 발견되지 않는다.
3. 평가 체계의 부재가 방안의 부재보다 더 위험하다 — "효과 괜찮다"는 기준선도 회귀 테스트도 없다는 뜻이며, 지식베이스가 갱신되거나 모델이 교체될 때마다 리콜이 소리 없이 악화돼도 아무도 모른다. 영역 리콜률·용어 매칭 정확률·동의 질문 리콜 일관성이 최소 가용 평가셋이다.
4. 미세조정 언어자료의 선택 방식이 미세조정의 상한을 결정한다 — 고빈도 질의·핵심 용어 기반 구축은 실제로 자주 검색되는 의미를 최적화하는 것이고, 무작위 슬라이스는 언어자료의 평균 분포를 최적화하는 것이다. 같은 학습 비용을 쓰고도 전자는 업무 명중률이 높은 영역에, 후자는 거의 검색되지 않는 구석에 흩뿌려진다.
5. 사전가중과 벡터 표현은 이분법이 아니라 상호보완이다 — 사전은 알려진 용어에 정확하지만 커버리지가 유한하고, 벡터는 미지의 표현 변이에 강하지만 희귀 전문용어에 불안정하다. "알려진 용어는 정확히, 낯선 말투도 리콜 가능"이라는 두 요구는 둘을 조합해야만 동시에 만족된다.
6. 적응 입도는 효과 향상과 학습 비용을 분리할 수 있어야 지속 가능하다 — 새 업종이 추가될 때마다 벡터 모델을 전량 재학습해야 한다면 다업종 혼재 시나리오에서 방안이 버티지 못한다. 사전 층은 업종별로 확장하고 벡터 층은 공유하는 식으로 입도를 설계해야 신규 업종의 한계 비용이 낮아진다.
7. 지식 그래프는 "더 철저한 의미 정렬"을 위한 선택지이지 기본 동작이 아니다 — 사전가중 + 벡터 조합으로 먼저 기준선을 뽑고, 지표가 여전히 미달할 때만 그래프 도입을 검토해야 한다. 먼저 그래프부터 얹으면 구축·유지 비용을 조기에 떠안게 된다.
8. 방어적 제약은 검토기가 아니라 생성기 단계로 앞당겨야 효과가 있다 — 복기에서 얻은 "용어 강화·효과 평가 없이는 출시 금지" 같은 규범을 AI 코드 생성용 프롬프트에 미리 넣어두면, 사후 리뷰에서 걸러내는 대신 애초에 방어 로직이 내장된 코드가 나온다.

#엔지니어링 실전 Tips

• "동의 질문 리콜 일관성"을 일상 회귀 지표로 삼을 것: 같은 질문을 서면 용어·구어·업계 은어 세 가지로 각각 검색해 리콜 집합의 겹침도를 비교한다. 비용이 낮고 "동의 표현 누락 리콜"을 유일하게 직접 드러내는 지표다.
• "키워드 검색 대조군"을 폐기하지 말 것: 영역 적응이 실패했을 때 키워드 검색 성능과 나란히 비교하면, 의미 적응이 실제로 얼마나 증분을 냈는지가 드러난다 — 이를 최종 방안으로 삼으라는 뜻이 아니라 대조군으로만 쓸 것.
• 미세조정 언어자료는 먼저 고빈도 질의 로그를 훑을 것: 실제 질의의 헤드 분포를 통계 낸 뒤 그에 맞춰 언어자료를 선별·구성해야지, 문서에서 균등 샘플링하면 안 된다.
• 고전문도 모듈은 별도 게이트를 둘 것: 의료·금융·법무는 리콜 실패가 곧바로 업무·컴플라이언스 리스크로 번지므로 다른 모듈보다 엄격한 출시 문턱을 둘 가치가 있다.
• 레드라인은 CI 게이트로 못 박을 것: "용어 강화·효과 평가 없이는 출시 금지"가 실효를 가지려면 평가셋 커버리지 레드라인에 실제로 결부돼야 한다. 그렇지 않으면 규범이 권고 사항으로 퇴화한다.
• 더 파고들 방향: 적응 입도 대 학습 비용의 해리 곡선을 자체 업무에서 실측(신규 업종 추가의 한계 비용 산정), 용어 누락 리콜 보상 메커니즘(규칙 매핑 vs 의미 확장)의 구체적 구현과 조합 비율, 지식 그래프 도입 여부의 판단 임계값 설계, 방어적 코딩 제약을 실제 프롬프트로 작성해 검증.