아마존 CloudWatch의 생성형 AI 옵저버빌리티 미리보기 공개

아마존 CloudWatch의 생성형 AI 옵저버빌리티 기능 미리보기 소개

최근 생성형 AI 기술이 비약적인 발전을 거듭하면서, 이를 효과적으로 관찰하고 성능을 모니터링하는 다양한 방법이 요구되고 있습니다. 이에 따라 AWS에서는 Amazon Bedrock 기반 AgentCore를 활용한 에이전트 운영 환경을 포함하여 생성형 AI 애플리케이션 전반에 대한 가시성을 확보할 수 있도록, Amazon CloudWatch의 새로운 기능인 "Generative AI Observability"를 미리보기 형태로 발표했습니다.

이 기능은 AI workload의 지연 시간, 오류, 사용량 등 주요 지표를 자동 수집하여, 정확도와 성능 문제를 신속하게 탐지하고 원인을 분석할 수 있도록 지원합니다. 특히, 모델 호출과 지식 기반, 도구 및 모델과 같은 요소별 프롬프트 추적(end-to-end prompt tracing)을 통해 현재 시스템에서 발생하는 문제를 빠르게 확인할 수 있는 강력한 기능을 제공합니다.

CloudWatch의 이번 업데이트는 생성형 AI 오케스트레이션 프레임워크인 Strands Agents, LangChain, LangGraph와의 호환성을 제공함으로써 다양한 프레임워크 환경에서도 유연하게 활용할 수 있도록 설계되었습니다. 이를 통해 개발자는 선택한 프레임워크에 제약받지 않고 통합적인 모니터링이 가능합니다.

실제 사용 시 개발자는 VectorDB의 인덱싱 누락이나 RAG(Retrieval-Augmented Generation) 시스템의 재시도 실패와 같은 오류의 근본 원인을 분석하여 응답 오류를 방지할 수 있습니다. 이를 통해 AI 에이전트의 가용성, 신뢰도, 품질을 한층 높인 자동화 운영 환경을 구축할 수 있습니다.

특히 AgentCore 탭에서 제공되는 전용 뷰를 사용하면, 현재 운영 중인 에이전트 플릿 전체에 대한 상태를 하나의 대시보드에서 확인할 수 있습니다. 또한 CloudWatch의 Alarms, Dashboards, Logs Insights, Application Signals, 민감 데이터 보호 등 기존 기능들과의 결합을 통해 고도화된 AI 옵저버빌리티 환경을 쉽게 구현할 수 있습니다.

현재 해당 기능은 미리보기 상태로 미국 동부(버지니아 북부), 미국 서부(오리건), 유럽(프랑크푸르트), 아시아 태평양(시드니) 리전에서 제공되며, 기존 CloudWatch 가격 정책 내에서 텔레메트리 데이터 수집 및 저장에 대한 과금이 적용됩니다.

이러한 기능을 통해 생성형 AI 애플리케이션을 더욱 정밀하게 제어하고, 장애 대응 및 성능 최적화에 있어 선제적인 조치를 자동화할 수 있는 기반을 마련할 수 있을 것입니다.

https://aws.amazon.com/about-aws/whats-new/2025/07/amazon-cloudwatch-adds-generative-ai-observability-preview/