Amazon Bedrock 비용 모니터링 및 제어 시스템 구축 가이드 Part 2

프랙티컬한 Amazon Bedrock 비용 모니터링 및 제어 시스템 구축 가이드 – Part 2

서론

생성형 AI(Generative AI)의 배치가 확산됨에 따라, 다양한 조직에서는 Amazon Bedrock을 통해 혁신적인 서비스를 제공하고 있습니다. 그러나 대규모 AI 서비스 사용은 예산 초과를 야기할 수 있고, 이를 사전에 막기 위한 비용 관리 전략이 필수적입니다. 본 글에서는 Amazon Bedrock을 활용하여 실시간 모니터링, 정밀한 태깅, 커스텀 보고 기능까지 포함하는 프로액티브(Proactive) 비용 관리 시스템을 구축하는 방법을 살펴보며, 자동화 및 배포 가이드에 대한 내용을 제공합니다.

본문

1. 비용 모니터링 시스템 개요

Amazon Bedrock의 실시간 AI 사용량과 토큰 소비를 추적하기 위해 소개된 ‘Cost Sentry’ 아키텍처는 AWS Billing과 Cost Management 시스템과 통합되어 작동합니다. 다양한 AWS 서비스가 함께 사용되며, 비용 제어는 물론 전체적인 사용률까지 시각화가 가능합니다.

2. 호출 수준 태깅을 통한 추적 기능 강화

Step Functions 워크플로우에 호출 단위 태깅이 추가되어, 각 요청에 대해 applicationId, costCenter, environment와 같은 태그를 CloudWatch 로그와 함께 기록할 수 있습니다. 이는 애플리케이션 단위 비용 분리, 미사용 토큰 소진 감지 등의 분석에 필수 요소로 작용합니다.

3. 커스터마이징 가능한 API 입력 구조

Amazon Bedrock API는 입력 요청에 대해 모델 식별자, 메시지 스크립트, 모델 별 설정값, 커스텀 태그를 포함할 수 있는 유연한 구조를 제공합니다. 예를 들면 sales, support, services와 같은 부서 단위의 costCenter 태그를 활용하여 비용 분산이 가능합니다.

4. Lambda를 통한 태그 유효성 검증 및 모델 매핑

AWS Lambda 함수에서는 사용자가 요청한 간단한 모델명(예: "claude-3-5-haiku")을 Bedrock의 구체적인 모델 ID와 연결해주는 매핑 작업을 수행합니다. 또한 누락된 태그나 형식 오류에 대한 검증을 자동화하여 호출 흐름 중단을 방지합니다.

5. CloudWatch로 실시간 모니터링 및 시각화

CloudWatch 지표는 모델, 애플리케이션, 환경, 비용 센터 등의 차원을 기준으로 다양한 데이터를 수집합니다. GenAIRateLimiting 네임스페이스에서 요청 성공 여부, 토큰 소비량, 제한 초과 여부 등의 항목을 조회하며, 동적 차트로 시각화를 제공합니다.

6. Application Inference Profile 기반 비용 통제

Amazon Bedrock에서 제공하는 Application Inference Profile 기능을 통해, 모델 사용 요청을 사전에 등록한 Profile 정보에 매핑하여 제어할 수 있습니다. 각 Profile에는 applicationId, costCenter, environment 등 사용자 정의 태그가 할당되며, 이 정보는 AWS Cost Explorer, Budgets, Cost Anomaly Detection에 자동 연동됩니다.

7. AWS CLI 기반 프로파일 생성 예시

다음과 같은 명령어를 통해 sales 부서 전용 프로파일을 생성할 수 있습니다.

aws bedrock create-inference-profile
  –inference-profile-name "aws-docs-sales-prod"
  –model-source '{"copyFrom": "arn:aws:bedrock:us-east-1::foundation-model/anthropic.claude-3-haiku-20240307-v1:0"}'
  –tags '[
{"key": "applicationId", "value": "aws-documentation-helper"},
{"key": "costCenter", "value": "sales"},
{"key": "environment", "value": "production"}
  ]'

8. 비용 시각화를 위한 Cost Explorer 연동

Step Functions 및 Lambda를 통해 생성된 태그는 자동으로 AWS Cost Explorer에 반영되어, 모델 사용량을 costCenter, 환경(environment) 등으로 필터링하여 분석할 수 있습니다. 예산 초과를 빠르게 확인하고, 조직 단위로 적절한 대응이 가능합니다.

결론

본 솔루션은 예측 기반 비용 제어를 구현함으로써, 조직이 생성형 AI를 안정적으로 운영할 수 있도록 돕습니다. 호출 단위 태깅, Step Functions 기반 실시간 통제, CloudWatch 자동화 분석, 그리고 Cost Explorer 통합 보고까지 전 과정을 자동화하여 AI 활용의 투명성을 극대화할 수 있습니다. Amazon Bedrock 도입을 고려하는 팀이라면 이 구조를 적극 활용하여 초기부터 비용 절감을 실현하고, 각 조직 별 상황에 맞는 배포 가이드를 설계할 수 있을 것입니다.

https://aws.amazon.com/blogs/machine-learning/build-a-proactive-ai-cost-management-system-for-amazon-bedrock-part-2/