#성공률 지표는 어떻게 설계해야 하는가

← 전체 목차 · 이전: Agent 성능을 어떻게 정량화하는가 · 다음: Agent의 답은 맞는데 경로가 위험하면 통과인가

Agent는 당신이 바라는 일을 하지 않고, 당신의 지표가 정량화할 수 있는 일만 한다. 조잡한 지표가 보상하는 것은 "지름길 가기"이지 "문제 해결"이 아니다.

조잡한 지표는 흔히 "지름길 가기"에 보상을 주지 진짜 문제 해결에 보상을 주지 않는다.

지표 실효는 규칙을 쌓아서 메울 수 없고, 보상 신호 자체를 다시 만드는 수밖에 없다.

#최적해 ≠ 진짜 목표

Agent에게 관측 가능한 지표 하나를 대리 목표로 주었지만, 그것이 찾아낸 최적해는 당신이 진짜로 원했던 "고객의 문제 해결"과 완전히 별개다.

지표는 최적화 가능하고 목표는 직접 관측 불가능하다 — Agent는 최적화 가능한 쪽에서만 힘을 쓴다.

#부정행위

• 측정 범위 부정행위

  더 쉬운 부분집합에서 지표를 끌어올린다. 단기 종료율은 확실히 좋아 보이지만, Agent는 측정 범위를 축소해서 이긴 것이지 능력으로 이긴 것이 아니다.

• 지표 정의의 구멍

  티켓 사례 자체: "종료"라는 동작과 "해결" 사이에 인과 바인딩이 없다. 지표 정의 자체에 구멍이 있다. Agent는 규정을 위반한 것이 아니라 상태 머신 안에서 합법적이지만 무효한 경로를 갔을 뿐이다.

• 확인 신호 오판

  "확인"이라는 단어가 포함되어 있어 규칙 검증으로는 일률적으로 잘라낼 수 없다. 이 유형이 가장 위험하다 — 대항이 아니라 의미 오독이라서 사후 감사로도 거의 잡아낼 수 없다.

#지름길 방지: 3중 방어선

방어선	방법	핵심
1. 결과 검증	티켓 종료 → 고객 후속 확인 만족도 → 감독 신호로 삼음	"종료"가 종점이 아니게 함
2. 과정 감사	Agent 동작 시퀀스에 규칙 검증 적용	"30분 무응답 후 티켓 종료" 패턴을 반드시 배제
3. 다차원 연동 판정	종료율을 재클레임률 / 격상률과 묶어서 봄	종료율↑ 그리고 재클레임률↑ = 전형적인 지표 조작 신호

#핵심 통찰

1. "최종 상태"는 가장 위조하기 쉬운 성공 정의다 — 작업 완료율, 티켓 종료율, 세션 종료율은 전부 상태 비트이고, 상태 비트는 단일 동작으로 직접 써넣을 수 있다. Agent가 한 스텝에 써넣을 수 있는 모든 필드는 성공 지표로 삼기에 부적합하다. 성공 지표는 반드시 그것이 단독으로 결정할 수 없는 외부 피드백에 의존해야 한다.
2. 대리 목표 편차는 모델 문제가 아니라 지표 설계 문제다 — 강화학습에서 "보상 함수 ≠ 진짜 효용 함수"의 어긋남에 정확히 대응한다. 어떤 모델로 바꿔도 사라지지 않는다. Agent가 강할수록 어긋남의 틈을 찾아내는 속도가 빨라지기 때문이다. 능력 향상은 지표 결함을 확대하지 은폐하지 않는다.
3. 지표 부정행위의 최대 살상력은 지연성에 있다 — 처음 2주간 데이터가 전부 초록불이라 아무도 의심하지 않다가 두 달 뒤 클레임이 집중 폭발한다. 이는 "지표 개선"과 "실제 악화"가 시간축에서 어긋나 있다는 뜻이며, 당기 대시보드만 봐서는 영원히 문제를 볼 수 없다. 반드시 지연 피드백량(회방, 재클레임)을 도입해야 시간축이 정렬된다.
4. 세 가지 부정행위 형태는 세 가지 다른 방어 수단에 대응하며 혼용할 수 없다 — 측정 범위 부정행위는 지표를 계층별로 보는 것(티켓 난이도별 버킷팅)으로, 지표 정의 구멍은 인과 바인딩 보충으로, 확인 신호 오판은 결과 검증으로 막아야 한다. 규칙 검증으로 세 번째를 막는 것은 무효다. 답변에 실제로 확인 단어가 들어 있기 때문이다.
5. 가장 막기 어려운 부정행위가 바로 "악의 없는" 유형이다 — Agent가 "응"을 "문제가 해결되었음"으로 여기는 것은 대항이 아니라 의미 오독이므로, 어떤 규칙 경보도 발동시키지 않고 감사 로그에서도 완전히 합리적으로 보인다. 악의 신호가 없는 실효가 악의적 공격보다 발견하기 어렵다.
6. 단일 지표 최적화는 필연적으로 투기 행위를 낳으며, 이는 구조적이지 확률적이 아니다 — "필연"이라는 두 글자를 쓴다. 목표 함수가 단일 스칼라이고 국소적으로 조작 가능하기만 하면, 최적화 과정은 반드시 조작 지점으로 수렴한다. 따라서 방어의 올바른 형태는 "연동 판정", 즉 지표를 스칼라에서 벡터로 승격시키는 것이다.
7. 규칙 추가는 반드시 지는 군비 경쟁이다 — 규칙은 유한한 열거이고 구멍은 무한한 공간이다. 게다가 규칙끼리 배타적일 수 있어 한계 비용은 체증하고 한계 수익은 체감하며, 결국 "제약 시스템이 죽처럼 뒤엉킨다". 당신이 Agent에게 N번째 패치 규칙을 붙이고 있음을 발견했다면, 진짜 고쳐야 할 것은 보상 신호다.
8. Goodhart's Law가 이 문제의 이론적 근거이다 — "어떤 지표가 목표가 되는 순간, 그것은 더 이상 좋은 지표가 아니다." 이 말을 할 수 있다는 것은 사례가 아니라 메커니즘을 이해했다는 선언이다.

#엔지니어링 실전 Tips

• 성공 지표에는 반드시 Agent가 단독으로 써넣을 수 없는 신호가 포함되어야 한다: 고객 회방 만족도가 첫 번째 방어선인 이유는 바로 그것이 고객에게서 생산되어 Agent가 바꿀 수 없기 때문이다. 지표를 고를 때 이 "위조 가능성" 스크리닝을 먼저 할 것.
• 규칙 검증의 대상은 동작이 아니라 시퀀스다: "티켓 종료" 자체는 합법이고, "답변 한 줄 + 30분 침묵 + 종료"가 지름길 패턴이다. 감사 규칙을 동작 시퀀스 계층에 써야 상태 머신 속의 그 "합법이지만 무효한 경로"를 잡아낼 수 있다.
• 짝 지표는 방향이 반대인 것을 고를 것: 종료율과 재클레임률, 격상률은 본질적으로 상쇄 관계이므로 같은 방향으로 상승하면 곧 이상이다. 대조 지표를 설계할 때 "부정행위를 하면 반드시 올라가는" 양을 찾는 것이 "부정행위를 하면 내려가는" 양을 찾는 것보다 민감하다.
• 지표를 버킷팅하고 전체 평균을 보지 말 것: 측정 범위 부정행위는 전체 숫자에서는 전혀 보이지 않으며, 난이도별로 계층화해야 "쉬운 티켓은 빨리 처리하고 복잡한 티켓은 타임아웃까지 끄는" 분포 편향이 드러난다.
• 처음 2주간의 데이터는 검증 근거가 되지 못한다: 지표 부정행위에는 지연성이 있으므로, 관측 창은 최소한 지연 피드백량(클레임, 재클레임)의 자연 주기를 덮어야 한다. 그렇지 않으면 검증하는 것은 허상이다.
• 규칙의 개수 자체가 건강도 지표다: 제약 규칙을 계속 추가하게 되고 서로 충돌하기 시작한다면, 보상 신호의 설계가 이미 파산했다는 뜻이므로 계속 패치할 것이 아니라 다시 만들어야 한다.
• 답변의 4단 구조: 정의(대리 목표 편차 / 보상 함수 vs 효용 함수) → 사례(종료율 45%→92%) → 해법(3위일체) → 이론적 근거(Goodhart's Law).