확장 가능한 AI 에이전트를 위한 NeMo Toolkit, Bedrock AgentCore, Strands Agents 통합 전략

기업 환경에서 AI의 진화는 단순한 챗봇 수준을 넘어, 복잡한 문제 해결을 위한 자율적인 에이전트 기반 시스템으로 나아가고 있습니다. 하지만 이러한 AI 에이전트를 프로덕션 환경에 안정적으로 배포하려면, 단순한 모델 통합을 넘어서 다양한 도구 간 오케스트레이션, 퍼포먼스 평가 및 최적화, 리소스 관리 등의 복잡한 과정을 견고하게 설계해야 합니다. 본 글에서는 NVIDIA NeMo Agent Toolkit, Amazon Bedrock AgentCore, 그리고 Strands Agents의 통합을 통해 이런 복잡성을 해소하고, 확장 가능한 AI 에이전트를 개발, 평가, 최적화, 배포하는 방법을 소개합니다.

Strands Agents: 모델 주도 방식의 에이전트 프레임워크

Strands Agents는 Amazon Bedrock 및 S3와 자연스럽게 통합되는 오픈 소스 에이전트 프레임워크로, 개발자가 프롬프트, 툴, 파운데이션 모델(FM)을 조합하여 에이전트를 구성할 수 있게 해줍니다. 프레임워크에는 20개 이상의 빌트인 툴과 커스텀 파이썬 데코레이터 기반 툴 정의 기능이 포함되어 있으며, 지속적인 통합/배포(CI/CD), 로컬 테스트, OpenTelemetry 기반 관측성 등 실 운영을 고려한 구성요소가 내장되어 있습니다.

Amazon Bedrock AgentCore: 보안성과 확장성을 겸비한 런타임

Amazon Bedrock AgentCore는 다음과 같은 구성 요소를 통해 엔터프라이즈급 에이전트 운영을 실현할 수 있도록 돕습니다:

• Runtime: 서버리스 보안 기반 배포
• Memory: 단기 및 장기 맥락 유지
• Gateway: 툴 접근 제어 및 API 통합
• Identity: 보안 기반 접근 제어
• Code Interpreter, Browser Tool: 샌드박스 실행 환경 및 웹 상호작용 지원
• Observability: 성능 추적 및 모니터링 기능
• Evaluation & Policy: 품질 평가 및 정책 준수 구조 제공

이들 구성 요소는 독립적으로 또는 조합하여 활용 가능하며, 오픈소스 프레임워크 및 모델과의 통합도 용이합니다.

NVIDIA NeMo Agent Toolkit: 에이전트 성능 평가와 최적화 자동화

NeMo Agent Toolkit은 프레임워크에 구애받지 않는 방식으로 다양한 AI 에이전트들을 프로파일링, 최적화할 수 있도록 지원합니다. 도구는 토큰 사용량, 지연 시간, 처리량, 추론 시간 등의 지표를 활용해 최적의 하이퍼파라미터를 자동으로 탐색하며, GPU 사이징 계산기를 통해 실제 운영 환경에서 필요한 연산자원을 예측할 수 있습니다.

에이전트 정의에서 배포까지: 실제 활용 사례

예를 들어 web URL로부터 정보를 추출해 사용자 요청에 답하는 지식 기반 에이전트를 만들어보겠습니다. Strands Agents를 통해 프롬프트 구성 및 툴 조합 후, NeMo Toolkit을 래핑하여 에이전트 성능을 평가하고 최적화합니다. 로컬에서는 아래 명령어를 통해 기본 작동 여부를 확인할 수 있습니다.

nat run –config_file 예시파일 –input "Strands Agents API는 어떻게 활용하나요?"

프로덕션 환경에 가까운 시뮬레이션 자동화 서버로는 serve 명령을 사용합니다:

nat serve –config_file 예시파일

그 뒤, curl 명령 등으로 지속적인 API 호출이 가능합니다.

성능 모니터링과 병목 진단

NeMo Toolkit의 eval 명령으로 에이전트 워크플로우의 정확도, 프롬프트 기반 일관성, RAG 평가 등의 다양한 측정치를 확인할 수 있습니다. 이는 자동화된 보고서 및 시각화 자료로 제공되어 성능 병목 지점을 정확하게 파악할 수 있습니다.

자동화된 하이퍼파라미터 최적화

기존의 수동 조정과 달리, NeMo Agent Toolkit은 아래 명령으로 자동화된 sweep 실행과 최적화가 가능합니다.

nat optimize –config_file optimizer_config.yml

GPU 사이징 계산기: 인프라 자동 추정

AI 에이전트를 다중 사용자 환경에 배포할 경우, 얼마만큼의 GPU 자원이 필요한지를 계산하는 것이 중요합니다. NeMo Toolkit은 아래와 같이 sizing calc 명령어를 통해 이 작업을 자동 수행합니다:

nat sizing calc –config_file sizing_config.yml –concurrencies 1,2,4,…,32

이 결과를 활용해 최대 사용량, 평균 처리 시간에 기반한 GPU 요구량을 예측할 수 있습니다.

Amazon Bedrock AgentCore에 에이전트 배포하기

개발이 완료되었다면, 최적화된 컨테이너를 Bedrock AgentCore Runtime에 배포합니다. OpenTelemetry와 통합된 관측 시스템을 통해 실 운영 환경에서도 워크플로우 추적 및 성능 측정이 지속적으로 가능합니다.

결론

에이전트 기반 AI는 단순한 모델 인퍼런스를 넘는 복잡하고 다양한 컴포넌트를 요구합니다. Strands Agents를 통한 에이전트 정의, NVIDIA NeMo Toolkit의 평가 및 최적화, Amazon Bedrock AgentCore의 안정적인 배포 구조를 하나로 엮어 사용하면, 성능 확보는 물론 운영의 자동화, 비교 분석 기반의 의사결정도 가능합니다. 이제 개발자는 아이디어에서 제품까지, 엔터프라이즈급 수준으로 확장 가능한 AI 시스템을 구현할 수 있습니다.

https://aws.amazon.com/blogs/machine-learning/build-and-deploy-scalable-ai-agents-with-nvidia-nemo-amazon-bedrock-agentcore-and-strands-agents/