AWS Agent Evaluation with Amazon Bedrock AgentCore

AWS 에이전트 평가 플레이북: Amazon Bedrock AgentCore 기반 평가

소개

클라우드 기술이 발전함에 따라 AI 에이전트의 배포와 활용은 점점 중요해지고 있습니다. AWS는 Amazon Bedrock AgentCore를 통해 이러한 AI 에이전트의 성능 평가를 돕고 있습니다. 본 포스트에서는 에이전트 평가를 통해 비즈니스 목표를 달성하는 방법과 AWS의 AgentCore 도입 지침을 소개하고자 합니다.

본문

에이전트 평가의 필요성

에이전트를 실제 환경에 배포할 때 중요한 것은 단순히 실행되는지 여부가 아닙니다. 에이전트가 실제로 비즈니스 요구를 얼마나 잘 충족하는지가 관건입니다. AWS는 Bedrock AgentCore를 활용해 이러한 문제를 해결하도록 지원합니다. 특히 각 에이전트의 특성에 맞춘 평가 척도와 자동 평가 도구를 통해 에이전트의 성능을 분석할 수 있습니다.

성공을 정의하기 위한 3단계

1. 비즈니스 성공 기준 정의하기: 고객 지원 에이전트의 경우, 첫 번째 접촉에서 문제 해결.
2. 관찰 가능한 행동으로 결과 분해하기: 목표를 달성하기 위한 일련의 행동을 정의.
3. 적절한 평가자와의 매핑: 각 행동을 적절한 평가 및 레벨에 매핑.

도출된 행동을 바탕으로 AWS의 AgentCore에서 제공하는 평가자들을 활용해 구체적이고 세부적인 측정을 수행할 수 있습니다.

AgentCore 평가자 카탈로그

AWS는 다양한 내장 평가자를 통해 일반적인 과제부터 맞춤형 행동 측정까지 폭넓은 기능을 지원합니다.

• 내장 평가자: AWS가 작성하고 품질 테스트를 거친 기본 제공 도구. ID를 통해 참조하며, AWS 서비스가 나머지를 처리.
• 제3자 관리 평가자: DeepEval 및 AutoEval과 같은 오픈소스 평가 라이브러리 기반 평가자.
• 커스텀 평가자: 기본 또는 제3자 평가자를 기반으로 모델을 교체하여 사용자 정의.

다양한 평가자를 테스트함으로써 각각의 에이전트에 맞춘 세밀한 평가와 최적화를 도모할 수 있습니다.

결론

에이전트 평가의 복잡성을 줄이고자 할 때, AWS의 AgentCore는 다양한 기회를 제공합니다. 모든 에이전트의 성공 기준을 명확히 하고, 가장 관련된 행동들을 측정하여 적절한 평가자를 선택함으로써 높은 품질의 에이전트를 운영할 수 있습니다. AWS AgentCore의 평가자를 통해 데이터를 체계적으로 수집하고 자동화 함으로써 비즈니스 목표를 더욱 효과적으로 달성할 수 있습니다.

[1] https://aws.amazon.com/blogs/machine-learning/the-agent-evaluation-playbook-built-in-deepeval-and-autoeval-on-agentcore/