pre가드레일 는 AI 시스템이 의도한 대로 작동하도록 보장하는 일련의 안전 조치입니다. 이러한 조치는 시스템이 예측할 수 없는 방식으로 행동하거나 의도하지 않은 결과를 초래할 수 있는 잠재적인 위험을 완화하는 데 도움이 됩니다. 사전 가드레일의 예로는 입력 검증, 액세스 제어, 모니터링 및 경고 시스템, 비상 중지 메커니즘 등이 있습니다. 사전 가드레일을 구현함으로써 개발자는 AI 시스템이 안전하고 신뢰할 수 있으며 윤리적으로 작동하도록 보장할 수 있습니다.
post 가드레일 는 AI 시스템이 의도한 대로 작동하는지 확인하기 위해 시스템이 배포된 후에 구현되는 안전 조치입니다. 이러한 조치는 시스템이 예측할 수 없는 방식으로 행동하거나 의도하지 않은 결과를 초래할 수 있는 잠재적인 위험을 모니터링하고 완화하는 데 도움이 됩니다. 사후 가드레일의 예로는 지속적인 모니터링 및 감사, 사용자 피드백 메커니즘, 정기적인 업데이트 및 패치, 사고 대응 계획 등이 있습니다. 사후 가드레일을 구현함으로써 개발자는 AI 시스템이 안전하고 신뢰할 수 있으며 윤리적으로 작동하도록 보장할 수 있습니다.
모니터링 은 AI 시스템의 성능과 행동을 지속적으로 관찰하고 분석하는 프로세스입니다. 모니터링은 시스템이 의도한 대로 작동하는지 확인하고 잠재적인 문제나 위험을 식별하는 데 도움이 됩니다. 모니터링의 예로는 시스템 로그 및 메트릭 분석, 사용자 피드백 수집, 정기적인 감사 및 검토, 이상 탐지 메커니즘 등이 있습니다. 모니터링을 구현함으로써 개발자는 AI 시스템이 안전하고 신뢰할 수 있으며 윤리적으로 작동하도록 보장할 수 있습니다.
프롬프트에 의존하지 말고 메모리 시스템을 구축하여 에이전트가 장기적인 정보를 저장하고 검색할 수 있도록 해야 한다.
명시적으로 도구 메뉴를 제공해 에이전트가 선택하도록 해야 한다.
프롬프트로 작업의 목표와 범위를 명확하게 정의하고 에이전트의 역할과 책임을 명확히 해야 한다.