다중 테넌시 환경에서 Amazon Bedrock 모델 비용 추적 및 시각화 자동화 방법

다중 테넌시 환경에서의 Amazon Bedrock 모델 사용 비용 추적과 분석 자동화 가이드

소개

AI 애플리케이션을 다양한 고객에게 제공하는 기업은 공통적으로 '어떤 테넌트가 얼마나 AI 모델을 사용했는가?'라는 질문에 대한 답이 필요합니다. 이 질문에 명확하게 답하지 못하면 비용 누수, 운영 비효율성, 전략적 의사결정 지연 등의 문제가 발생할 수 있습니다. Amazon Bedrock의 Converse API와 application inference profiles, 그리고 Amazon QuickSight와의 통합은 이러한 문제를 해결하는 유용한 해법을 제시합니다. 이 글에서는 다중 테넌시 AI 환경에서 어떻게 비용을 정밀하게 추적하고, 자동화하고, 시각화할 수 있는지에 대한 구축 가이드와 활용 사례를 소개합니다.

본문

1. Amazon Bedrock Converse API의 활용과 requestMetadata

기본적으로 Amazon Bedrock은 다양한 AI 기반 모델 FMs(Foundation Models)을 제공하지만, 테넌트별 사용 내역을 추적하는 기능은 기본 제공되지 않습니다. 이를 해결하기 위해 Converse API의 requestMetadata 파라미터를 활용할 수 있습니다.

requestMetadata 는 JSON 형태의 key-value 데이터로, 애플리케이션 ID, 테넌트 이름, 사용자 ID, 부서, 시간 정보 등을 포함할 수 있습니다. 이 메타데이터는 결과에 영향을 주지 않지만, 이후 로그 분석을 통해 모델 사용 현황을 테넌트 또는 사용자 단위로 분석하는 데 유용한 정보를 제공합니다.

2. Application Inference Profiles를 통한 비용 정밀 추적

온디맨드 FM 모델은 기본적으로 AWS 태깅을 통한 비용 분할 추적이 어렵습니다. 그러나 Application inference profile을 도입하면 각 모델 호출에 테넌트, 프로젝트, 부서 등의 식별자를 연결할 수 있습니다. 이를 통해 수천에서 수백만 개의 사용자를 지원하는 경우에도 비용 분리와 리포팅이 가능해집니다.

특히 AWS Budgets, 비용 할당 태그, 자동화 경보와 연계하면 특정 테넌트의 임계 사용량을 초과하기 전에 알림을 보내고 자동으로 예산을 조절할 수 있어 운영 효율성과 비용 절감 효과를 동시에 얻을 수 있습니다.

3. 아키텍처 구성과 자동화된 분석 파이프라인

해당 솔루션의 전체 아키텍처는 다음과 같은 영역으로 구성되어 있습니다:

• 고객 VPC에서의 Bedrock 호출 로그 수집
• AWS Glue 기반의 ETL 처리
• 데이터 카탈로그 등록 및 스케줄러를 통한 자동 트리거
• 분석 시스템인 Amazon QuickSight와의 통합 리포트

이 전처리 파이프라인은 scheduler가 주기적으로 AWS Glue ETL 작업을 실행하여 로그를 처리하고, 실패 로그는 별도의 버킷으로 분리시킵니다. 처리된 로그는 Glue Crawler가 자동으로 스캔하여 데이터 카탈로그를 갱신하며, 이 결과는 Amazon Athena 및 QuickSight을 통해 리포트 대시보드로 연결됩니다.

4. Amazon QuickSight를 활용한 시각적 리포팅

Amazon QuickSight Enterprise Edition을 활용하면 테넌트별 사용 현황을 시각화하여 다양한 조직적 인사이트를 제공합니다. 다음과 같은 대시보드 구성 요소가 포함됩니다:

• 테넌트 그룹별 토큰 사용량 (Bar Chart)
• 회사별 토큰 사용 분포 (Pie Chart)
• 부서별 사용 내용 분석 (Horizontal Bar Chart)
• 모델 사용 분포율 (Gauge 시각화)

필터 기능을 통해 연도, 월, 일, 테넌트별 분석이 가능하며, 성능 최적화 및 리소스 재분배를 위한 강력한 도구로 활용됩니다.

5. 사용자 정의와 운영 최적화

해당 솔루션은 GitHub 리포지토리를 통해 제공되며, 다음과 같은 커스터마이징이 가능합니다:

• ETL 스크립트 편집을 통한 메타데이터 필드 추가
• AWS Glue Pricing CSV 파일 교체를 통한 가격 반영
• QuickSight 대시보드에서의 테넌트, 지역, 부서 단위의 사용자 정의 리포팅

이는 각 기업이 자신만의 비즈니스 구조에 맞게 솔루션을 확장하고 비용 구조를 정교화하도록 도와줍니다.

결론

Amazon Bedrock의 Converse API와 Application Inference Profile을 활용하면, AI 시스템의 다중 테넌시 사용을 정밀하게 추적할 수 있습니다. 자동 ETL, 데이터 카탈로그화, 대시보드 시각화를 결합한 본 아키텍처는 단순 로그 데이터를 전략적 자산으로 전환하며, AI 애플리케이션에 대한 인사이트와 효율적인 비용 관리를 가능하게 합니다.

추가 구현 정보는 converse-metadata-cost-reporting GitHub 리포지토리에서 확인할 수 있습니다. 현재 소규모 테넌트부터 시작해 점차 분석 메트릭을 확장하면서, 각 테넌트별 맞춤형 AI 서비스를 강화해보세요.

https://aws.amazon.com/blogs/machine-learning/cost-tracking-multi-tenant-model-inference-on-amazon-bedrock/