대모델 애플리케이션 상용 전 평가
모델 출력, 검색 링크, 도구 호출, 업무 결과를 분리해 각각 측정한다.
분층 평가 체계
오프라인 평가 — 능력 경계
링크 평가 — 중간 단계
온라인 평가 — 실제 업무 지표
1층: 데이터셋
- 실제 문제
- 경계 문제
- 대항(adversarial) 문제
- 고빈도 업무 문제
2층: RAG 링크 평가
- 소환 — 핵심 조각을 명중했는가
- 리랭크 — 올바른 증거를 앞으로 올렸는가
- 생성 — 답변이 증거에 충실한가
3층: 도구 호출 평가
- 도구를 제대로 골랐는가
- 파라미터를 정확히 채웠는가
- 실패 후 복구할 수 있는가
- 월권 동작이 있었는가
4층: 온라인 업무 지표
- 작업 완료율
- 사람 인수율
- 첫 응답 지연
- 총비용
- 사용자 재질문율
- 클레임률
정리
대모델 애플리케이션 평가는 사람이 답변만 훑어보는 것이 아니라 샘플셋, 검색 링크, 생성 충실도, 도구 호출, 온라인 업무 지표 여러 층에서 평가해야 한다. 그래야 문제가 모델, 검색, 도구, 업무 프로세스 중 어디서 발생했는지 특정할 수 있고 지속적 개선도 가능하다.
핵심 통찰
- 평가의 본질은 귀인이지 채점이 아니다 — 단일한 「최종 답변이 맞는가」는 스칼라 하나이며 「어느 고리에서 틀렸나」에 답할 수 없다. 분층의 가치는 귀인 불가능한 지표 하나를 귀인 가능한 여러 지표로 쪼개는 데 있다.
- 「사람의 샘플 검사」는 데모기의 산물이다 — 반복 불가능하고, 회귀 불가능하며, 버전에 따라 누적되지 않는다. 공학화의 첫걸음은 샘플 검사를 고정 데이터셋으로 침전시키는 것이다.
- 데이터셋의 구성이 데이터셋의 크기보다 중요하다 — 실제/경계/대항/고빈도 네 종류 샘플 중 한 종류가 빠지면 그에 대응하는 장면에서 상용 후 전복된다. 「답하기 쉬운」 샘플만 쓰면 능력을 체계적으로 과대평가하게 된다.
- RAG 실패의 절대다수는 생성단에 있지 않다 — 소환이 명중하지 못하고 리랭크가 올려주지 못하면 생성단이 아무리 강해도 답이 없다. 그래서 검색 링크에는 최종 답변과 독립된 중간 지표가 반드시 있어야 한다.
- Agent의 정확성은 과정의 정확성이지 결과의 정확성이 아니다 — 「답은 우연히 맞았지만 호출 경로가 엉망」인 시스템은 상용에 쓸 수 없다. 예측 불가능하고 재현 불가능하며, 이미 부작용(월권 동작)을 냈을 수도 있기 때문이다.
- 월권 동작은 독립된 평가 항목이어야 한다 — 그것은 품질 차원이 아니라 보안 차원이므로 답변 정확률에 드러나지 않으며 반드시 별도로 세워야 한다.
- 온라인 지표는 품질, 경험, 비용 세 라인을 모두 덮어야 한다 — 작업 완료율/사람 인수율(품질), 첫 응답 지연/사용자 재질문율(경험), 총비용(경제성). 그중 하나만 최적화하면 나머지 둘이 압박받는다.
엔지니어링 실전 Tips
- 「사람의 샘플 검사」를 바로 없애지 말고, 검사한 케이스를 대항셋에 고정시켜 사람의 투입 한 번 한 번이 회귀 가능한 자산이 되게 할 것.
- 평가셋에는 반드시 경계 문제와 대항 문제를 명시적으로 넣을 것. 그러지 않으면 정확률이 고빈도 단순 문제에 희석되어 예쁘지만 쓸모없는 숫자가 된다.
- 「답변이 증거에 충실한가」는 「답변이 맞는가」와 별도로 평가할 것 — 둘은 서로를 가린다(증거를 제대로 인용했는데 답이 틀림 / 증거를 잘못 인용했는데 우연히 맞음).
- Agent의 「실패 후 복구 가능한가」는 장애를 능동적으로 주입해서(도구 타임아웃, 반환 이상) 측정해야 한다. 정상 경로로는 측정할 수 없다.
- 「월권 동작」은 가중 점수에 넣지 말고 하드 레드라인 검사(무관용)로 만들 것을 권장한다.
- 온라인 지표 중 총비용을 놓치기 쉽다: 답변 품질의 향상을 컨텍스트를 계속 늘리고 도구 호출을 여러 번 하는 것으로 얻는다면, 비용 곡선이 품질 곡선보다 먼저 폭발한다.
- 「사용자 재질문율」은 훌륭한 암묵적 품질 대리 지표다: 사용자가 반복해서 되묻는다는 것은 첫 답변이 문제를 해결하지 못했다는 뜻이며, 사람이 높은 점수를 줬더라도 그렇다.