BMW 그룹의 비용 이상 탐지 시스템 CLEA를 통한 클라우드 비용 관리 자동화

도입

오늘날 많은 기업이 클라우드 서비스의 확장성을 활용하고자 노력하고 있지만, 대규모 클라우드 계정을 효과적으로 관리하는 것은 여전히 도전 과제입니다. BMW 그룹은 AWS와 협력하여 운영 효율성을 높이기 위해 자체 개발한 FinOps 시스템인 Cloud Efficiency Analytics (CLEA)를 활용하고 있습니다. 본 포스트에서는 BMW 그룹의 CLEA가 비용 이상 탐지를 자동화하면서 어떻게 14,000개 이상의 클라우드 계정을 효과적으로 모니터링하고 있는지 소개합니다.

본문: 핵심 내용 및 사례

BMW 그룹은 방대한 클라우드 계정을 운영하면서 비용 이상 탐지를 통해 비효율성을 최소화하고 있습니다. CLEA는 Amazon QuickSight를 통해 대시보드를 시작으로 비용 소비에 대한 가시성을 제공했습니다. 하지만 대시보드는 이미 발생한 일을 확인하는 데 그치기 때문에, CLEA는 이를 보완하여 매일 이상 탐지를 수행하고 예상 소비 패턴을 이탈하면 사용자에게 이메일을 보내도록 했습니다.

CLEA의 예측 및 탐지 파이프라인

CLEA는 Meta의 Prophet 라이브러리를 활용하여 365일의 비용 데이터를 기반으로 각 서비스 계정 쌍에 대한 일일 예측을 수립했습니다. AWS Step Functions는 이 과정을 매일 병렬로 실행하며, AWS Lambda 함수는 각 계정의 서비스를 예측하고 20분 안에 전체 14,000 계정의 처리를 완료합니다. 예측 데이터는 CLEA의 비용 감지 기준선이 됩니다.

이상 알림으로의 전환

CLEA는 예측된 소비와 실제 소비의 차이를 계산하여 이상이라고 판단되는 경우 이를 기준으로 알림을 생성합니다. 각 계정-서비스 쌍별로 필터링을 통해, 40% 이상의 소비 차이가 발생한 경우에만 알림을 통해 계정 소유자에게 전달합니다.

자동화와 한계

CLEA는 사용자의 의도를 완전히 파악할 수 없기 때문에, 탐지된 이상에 대한 최종 판단은 여전히 사용자에게 의존합니다. CLEA는 지속적인 사용자 피드백을 통해 임계값을 조정하고, 각 계정에 대해 필요한 정보를 포함한 알림 이메일을 발송합니다.

CLEA의 아키텍처 스케일

CLEA의 아키텍처는 서버리스 환경으로 구성되어 있으며, AWS Step Functions와 AWS Lambda, AWS Glue 및 Amazon Athena를 활용하여 일일 이상 탐지 파이프라인을 구축하였습니다. 이러한 자동화된 파이프라인은 약 20분 내에 실행되며, 월 약 $50의 비용으로 운영됩니다.

결론

BMW 그룹은 CLEA를 통해 수동적 대시보드에서 매일 자동화된 비용 이상 탐지로 전환하며, 클라우드 효율성을 향상시켰습니다. CLEA 시스템은 멀티계정 환경에서도 효율적으로 작동하고, 최적화된 알림을 통해 계정 소유자가 즉시 대응할 수 있도록 돕습니다. CLEA의 성공적인 운영은 비즈니스에 대한 클라우드 도입 가이드를 제공하며, 다른 조직에도 유용한 사례가 될 것입니다.

[1] https://aws.amazon.com/blogs/machine-learning/how-bmw-group-detects-cost-anomalies-across-14000-cloud-accounts/