#프로덕션 Agent

데모 Agent와 프로덕션 Agent의 차이는 모델이 아니라 주변 장치에서 납니다. 모델은 언젠가 반드시 틀리므로, 틀렸을 때 피해 범위를 가두고(가드레일·권한·샌드박스), 틀린 것을 발견하고(관측성·평가), 되돌릴 수 있게(사람 승인·감사 로그) 설계해야 합니다.

#전체 그림

각 층은 서로를 대체하지 않습니다. 프롬프트에 "위험한 일은 하지 마"라고 쓰는 것은 가드레일이 아닙니다. 강제는 코드와 인프라에서 해야 합니다.

#입력 가드레일

모델에 들어가기 전에 거르는 검사입니다(pre-guardrail).

⚠️ 함정: 인젝션은 사용자 입력으로만 들어오지 않습니다. Agent가 읽는 웹 페이지, 이메일, PDF, 이슈 댓글, 도구 결과에 숨은 지시문이 더 위험합니다(간접 프롬프트 인젝션). 외부에서 온 텍스트는 데이터로 격리하고(구분자, 별도 역할), 그 내용에 따라 권한 있는 행동을 하지 않도록 설계하세요. → 간접 프롬프트 인젝션, 프롬프트 인젝션 방어

Simon Willison은 ① 비공개 데이터 접근 ② 신뢰할 수 없는 콘텐츠 노출 ③ 외부로 데이터를 보낼 수 있는 능력, 이 세 가지를 한 Agent가 동시에 가지면 인젝션으로 데이터가 유출될 수 있다고 경고하며 이를 "lethal trifecta"라고 불렀습니다. 탐지 모델은 완벽하지 않으므로, 세 가지 중 하나를 구조적으로 끊는 것이 가장 확실한 방어입니다.

#출력 가드레일

모델이 만든 결과를 사용자나 시스템에 넘기기 전에 거르는 검사입니다(post-guardrail).

출력 가드레일은 사용자 응답뿐 아니라 도구 호출 인자에도 적용됩니다. 모델이 만든 SQL, 셸 명령, 메일 수신자는 실행 전에 검증해야 합니다.

⚠️ 함정: 가격·재고·잔액 같은 숫자를 모델이 생성하게 두면 안 됩니다. 모델은 그럴듯한 숫자를 만들어 냅니다. 숫자는 도구가 반환한 값을 코드가 그대로 끼워 넣고, 모델은 문장만 만들게 하세요. → 전자상거래 Agent의 가격 약속, AI 데이터 조작 방지

#권한과 샌드박스

#최소 권한과 권한 등급

도구 권한은 켜고 끄는 스위치가 아니라 행동의 위험도에 따른 등급입니다.

• 같은 도구라도 인자에 따라 위험도가 다릅니다. send_email이 사내 수신자면 2등급, 외부 대량 발송이면 3등급으로 파라미터 단위로 판정합니다.
• Agent가 쓰는 자격증명은 사용자 권한을 넘지 않게 발급합니다. Agent 전용 서비스 계정에 관리자 권한을 주면 인젝션 한 번으로 전체가 뚫립니다.
• 도구 목록 자체를 작업에 필요한 만큼만 노출합니다. 쓰지 않을 도구는 컨텍스트에 넣지 않습니다.

→ 도구 권한 등급화

#샌드박스

샌드박스는 모델이 실수하지 않게 하는 장치가 아니라, 실수했을 때 파괴 범위를 제한하는 백스톱입니다. 코드를 실행하거나 패키지를 설치하는 Agent라면 필수입니다.

→ Agent 안전 샌드박스

#Human-in-the-loop

사람 확인은 불가역·고위험·고비용·외부에 영향을 주는 행동 직전에만 둡니다. 매 단계마다 물으면 사용자는 읽지 않고 승인하게 되고, 결국 확인이 없는 것과 같아집니다.

좋은 승인 요청은 버튼 하나가 아니라 판단에 필요한 사실 묶음입니다.

[승인 필요] 메일 발송
- 수신자: 외부 3명 (partner-a.com 2, partner-b.com 1)
- 제목: 3분기 단가 조정 안내
- 첨부: price_q3.xlsx (내부 문서 태그 있음 ⚠️)
- 근거: 사용자 요청 "파트너사에 단가표 보내줘"
[승인] [수정] [거부]

• 승인 대기 중에는 작업 상태를 저장하고, 승인 후 재개할 때 그사이 데이터가 바뀌지 않았는지 다시 확인합니다.
• 거부·수정 사유는 Agent에 되돌려 다음 행동에 반영하고, 평가 데이터로도 모읍니다.

→ 사람 확인 지점 배치, 일시정지 후 작업 재개

#관측성

Agent는 천연 블랙박스입니다. 최종 답만 남기면 어디서 시간이 걸렸는지, 왜 그 도구를 골랐는지, 무엇이 실패했는지 알 수 없습니다.

#Trace와 Span

• Trace: 사용자 요청 하나에 대한 처음부터 끝까지의 전체 작업
• Span: 그 안의 측정 가능한 각 단계 — LLM 호출, 도구 실행, 검색, handoff, 사람 승인 대기

trace: "주문 #1234 환불 처리"                      총 18.4s
├─ span: llm.chat (plan)                            2.1s  in 3.2k / out 180 tokens
├─ span: tool.get_order                             0.3s  ok
├─ span: llm.chat                                   1.8s
├─ span: tool.refund_policy_search                  4.9s  retry=2  ← 병목
├─ span: human.approval                             8.0s
└─ span: tool.create_refund                         1.3s  ok  refund_id=R-778

span마다 남길 것:

• 표준으로는 OpenTelemetry GenAI semantic conventions가 모델 호출·도구 실행·Agent 호출 span과 토큰 사용량 속성을 정의하고 있습니다. Langfuse, LangSmith, Arize Phoenix 같은 LLM 관측 도구도 대부분 trace/span 모델을 따릅니다.
• 업무 로그(누가 무엇을 바꿨나) 와 모델 로그(프롬프트·응답) 는 보존 기간과 접근 권한이 다르므로 분리합니다. 되돌릴 수 없는 행동은 별도 감사 로그로 남깁니다.

→ Trace와 Span 관측성, 업무 로그와 모델 로그 구분, 감사 로그

#비용과 지연

Agent는 한 요청에 LLM을 여러 번 호출하고 매번 전체 이력을 다시 보내므로 비용이 대화 길이에 따라 빠르게 커집니다.

→ 모델 다운그레이드 전략, 응답 캐시 일률 적용 불가, 컨텍스트 압축에서 잃으면 안 되는 것

#실패 유형과 대응

→ 도구 결과 충돌 판정, 재시도인가 보상인가, 200 응답과 Agent 작업 실패, 요약은 맞는데 실행할수록 이탈

#평가

Agent 평가는 두 축으로 나눕니다.

• Outcome(결과): 현실 세계의 상태가 실제로 바뀌었는가. "예약했습니다"라는 답이 아니라 DB에 예약이 생겼는지를 봅니다.
• Trajectory(경로): 어떤 도구를 어떤 순서로, 몇 번 불렀는가. 답은 맞았지만 불필요한 삭제나 권한 밖 조회를 거쳤다면 실패로 봅니다.

프로덕션 투입 전에는 실제 요청에서 뽑은 오프라인 평가셋으로 회귀를 막고, 투입 후에는 trace를 샘플링해 온라인으로 평가합니다. 오프라인 평가를 통과해도 실제 트래픽의 입력 분포·외부 시스템 상태가 달라 실패하는 경우가 흔하므로 둘 다 필요합니다.

→ LLM 평가, LLM-as-a-Judge, Outcome과 Trajectory, 결과·경로 이중 평가, 오프라인 평가 통과 후 프로덕션 이탈

#출시 체크리스트

• 성공 기준(Outcome)과 금지 행동이 문서화되어 있다
• 모든 도구에 권한 등급이 있고, 쓰기 도구는 인자 검증과 멱등성을 갖췄다
• 외부 콘텐츠를 읽는 Agent는 외부 전송 능력이 제한되어 있다
• 코드 실행·파일 조작은 샌드박스에서만 일어난다
• 되돌릴 수 없는 행동 앞에 구조화된 사람 승인이 있다
• 최대 스텝·토큰·시간 예산과 한도 도달 시 동작이 정의되어 있다
• 모든 요청이 trace로 남고, 되돌릴 수 없는 행동은 감사 로그가 있다
• 오프라인 평가셋(정상·엣지·공격 케이스)을 통과했고 온라인 평가 경로가 있다
• 모델·프롬프트 변경 시 되돌릴 수 있게 버전이 관리된다

#참고 자료

• Anthropic — Building effective agents
• Anthropic — Effective context engineering for AI agents
• OpenAI — A practical guide to building agents (PDF)
• OpenAI Agents SDK — Guardrails
• OWASP Top 10 for LLM Applications — 특히 Prompt Injection, Excessive Agency
• Simon Willison — The lethal trifecta for AI agents
• OpenTelemetry — GenAI semantic conventions
• Agent 심화 시리즈 전체 목차