최고의 AWS 적용 방법: Generative AI를 위한 실시간 지출 관리 시스템 구축

최고의 AWS 적용 방법: Generative AI를 위한 실시간 지출 관리 시스템 구축

소개

점점 더 많은 기업들이 AI 기술을 도입하면서 효율적인 비용 관리가 더욱 중요해지고 있습니다. 특히, Generative AI에서는 지출이 사용 패턴에 따라 급증할 수 있어 이를 모니터링하고 제어할 수 있는 시스템이 필요합니다. 이번 포스트에서는 AWS 기반의 AI 비용 관리에 대한 실시간 지출 관리 시스템 구축 방법을 소개합니다.

본문

Key Content and Case Study

이번 사례에서는 글로벌 IT 관리 솔루션 기업 Jamf가 Amazon Bedrock을 활용해 AI 지출을 실시간으로 관리할 수 있는 시스템을 구축한 방법을 설명합니다. 이 솔루션은 각 사용자의 Amazon Bedrock 일일 지출을 추적하고 예산 소진 단계에 맞춰 모델 사용을 제한하며, 이러한 제한은 작동 중인 세션을 방해하지 않고 거의 실시간으로 적용됩니다.

시스템 아키텍처

Jamf의 아키텍처는 크게 세 가지 부분으로 나뉩니다: 지출 측정, 사용자 제한 결정 및 알림, 제한의 실행입니다.

1. 지출 측정: Amazon Bedrock 사용 로그를 Amazon S3에 저장하여 Amazon Athena를 통해 일일 지출을 계산합니다.
2. 사용자 제한 결정 및 알림: Amazon EventBridge를 사용해 시간 별로 AWS Lambda 함수가 호출되며, 이는 현재 지출을 분석하고 누구에게 제한을 적용할지 결정합니다.
3. 제한의 실행: 각 사용자의 지출이 새로운 단계에 도달하면 AWS Lambda가 IAM 정책을 업데이트하여 사용자에게 Slack 메세지로 알립니다.

Tip and Learning

• 비용관: AWS Lambda, DynamoDB, 그리고 S3의 월비용은 수백 명의 엔지니어를 커버함에도 불구하고 월 10달러 미만입니다. Amazon Athena 사용 시 쿼리 스캔 크기 및 빈도에 따라 비용이 달라집니다.
• JSON 로그: 모든 쿼리가 모든 바이트를 스캔하기 때문에 JSON 형식의 로그를 보관하면 비용이 증가할 수 있습니다. 이를 해결하기 위해 Parquet 같은 컬럼형 포맷으로 전환하는 것이 좋습니다.
• IAM 정책 버전 제한: IAM 관리 정책의 최대 버전은 다섯 개이므로, 새로운 버전을 생성하기 전에 가장 오래된 비기본 버전을 삭제해야 합니다.

결론

이번 포스트에서는 Jamf가 Amazon Bedrock의 사용자별 실시간 지출을 관리하기 위한 시스템을 어떻게 구축했는지를 살펴보았습니다. 이 시스템을 통해 조직은 AI 지출을 투명하게 관리하며, AI 도입의 경제적 가치를 확실하게 증명할 수 있습니다.

[1] https://aws.amazon.com/blogs/machine-learning/tokenomics-at-scale-how-jamf-built-real-time-spend-enforcement-for-amazon-bedrock/