Agent의 답은 맞는데 경로가 위험하면 통과인가
통과가 아니다. Agent는 말만 할 줄 아는 모델이 아니라 도구를 호출하고 상태를 바꾸는 행동 시스템이기 때문이다. 과정 자체가 월권, 프라이버시 유출, 확인 생략 같은 리스크를 생산하므로, 최종 답변만 보면 보안 사고를 성공 사례로 기록하게 된다.
정확률만이 아니라 컴플라이언스도 봐야 한다
| 차원 | 설명 |
|---|
| 도구 경로 | 어떤 도구를 어떤 순서로 호출했는가 |
| 권한 경계 | 현재 사용자의 권한에 부합하는가 |
| 민감 데이터 | 접근하면 안 될 데이터에 접근했는가 |
| 사람의 확인 | 고위험 동작이 사람의 확인을 거쳤는가 |
결과 정확 & 경로 컴플라이언스 (이중 기준)
경로 위반 레드라인 다섯 항목: 월권 접근 / 잘못된 도구 / 확인 생략 / 민감 정보 유출 / 프로세스 위반. 어느 하나에 걸리면 「최종 답변이 정확」해도 원 스트라이크 아웃이다.
핵심 논단 한 줄: Agent의 리스크는 출력 텍스트에만 있는 것이 아니라 그것이 무엇을 했는가에 있다.
- 권한 경로 (평가 시 모든 도구 호출마다 세 가지를 기록할 것)
- 최소 필요인가?
- 현재 사용자의 권한에 부합하는가?
- 접근하면 안 될 데이터에 접근했는가?
- 실행 경로 (경로 안전 평가는 Trace에 의존한다. 자기가 어떻게 맞혔는지 설명하지 못하는 시스템은 다음에 왜 틀릴지도 설명하지 못한다)
- 모델의 도구 선택
- 파라미터 전달
- 반환 수신
- 상태 갱신
핵심 통찰
- Agent의 평가 대상은 「출력」이 아니라 「궤적」이다 — 전통 NLP 평가의 암묵적 전제는 「과정에 부작용이 없다」인데 Agent가 이 전제를 깨뜨렸다. 모델이 상태를 바꿀 수 있게 된 순간부터 과정은 반드시 별도로 평가되어야 한다.
- 레드라인을 가중 평균에 넣지 말 것 — 안전 항목과 정확률을 가중하는 것은 「더 높은 정확률로 한 번의 월권을 사는 것」을 허용하는 것과 같다. 안전류 지표는 반드시 독립된 원 스트라이크 관문이어야 하며, 이것이 지표 체계 설계에서 가장 저지르기 쉬운 오류다.
- 「이번엔 안 터졌다」는 통과의 이유가 아니다 — 「이미 사고가 났는가」가 아니라 「경로가 위험한가」를 판단 기준으로 삼는 것은, 본질적으로 평가를 사후 감사에서 리스크 모델링으로 앞당기는 것이다.
- 도구 호출 횟수는 음의 신호이지 양의 신호가 아니다 — 「적을수록 컴플라이언트」는 최소 권한 원칙을 측정 가능한 지표로 직접 번역한 것이다.
- Trace가 없으면 Agent 평가도 없다 — 관측성은 운영의 부가 항목이 아니라 경로 평가의 전제 조건이다. 도구 선택, 파라미터 전달, 반환, 상태 변경을 기록하지 않으면 경로 계층의 모든 지표를 계산할 수 없다.
- 설명 가능성과 유지보수성은 같은 것이다 — 이번에 왜 맞혔는지 설명하지 못하면 다음에 왜 틀릴지도 예측하지 못한다. 따라서 Trace의 가치는 한 번의 복기가 아니라 실패를 귀인 가능하게 만드는 데 있다.
- 회귀 샘플을 고정해야 변경을 비교할 수 있다 — Prompt 수정 / 모델 교체 / 검색 전략 교체 / 도구 설명 교체, 이 네 종류의 변경은 달라 보이지만 같은 배치의 회귀 샘플을 돌리고 같은 네 종류의 지표를 보기만 하면 횡적으로 비교할 수 있다.
- 평가셋은 살아 있어야 한다 — 상용에서 실제 Trace를 샘플링하고 새 실패 샘플을 평가셋에 환류시켜야 평가셋이 시간이 지나며 실효되는 것을 막을 수 있다.
엔지니어링 실전 Tips
- 위험 경로 샘플을 회귀 테스트 케이스로 침전시킬 것. 고치고 나서 버리지 말 것 — 이것이 동종 월권의 재발을 막는 최저 비용 수단이다.
- 「멱등」은 환불, 쿠폰 발급 같은 동작에서 하드 요구사항이다: Agent의 재시도 메커니즘은 태생적으로 중복 호출을 하므로, 멱등 키가 없으면 반복해서 돈을 뿌리게 된다.
- 권한 검증은 모델의 자각에 기대지 말고 도구 계층에서 사용자 컨텍스트를 바인딩해, 월권이 도구 측에서 거부되게 해야지 Prompt 제약에 의존하면 안 된다.
- 품질 지표 중 「도구 횟수」와 「재시도 횟수」는 동시에 비용 지표이기도 하며, 빙빙 도는 비효율 경로나 반복 재시도를 덤으로 발견할 수 있다.
- 「상용 전 검사 + 회귀 + 상용 샘플링 환류」라는 이 계층을 말할 수 있는지가 「개념을 안다」와 「구현해봤다」를 가르는 분수령이다.