Amazon SageMaker Unified Studio에서 프로젝트별 클라우드 비용 할당 및 추적 방법

아마존 SageMaker Unified Studio에서 프로젝트 단위의 비용 할당 방법

AI 및 데이터 분석 프로젝트가 점점 복잡해짐에 따라 조직 내 다양한 부서와 팀이 Amazon SageMaker에서 공동으로 작업하는 일이 많아졌습니다. 이때 중요한 과제 중 하나는 프로젝트별로 발생하는 클라우드 인프라 비용을 명확히 분리하고 모니터링하는 것입니다. 본 글에서는 비용 추적을 위한 자동화된 태깅 시스템을 활용하여 SageMaker Unified Studio 내에서 프로젝트 단위의 비용 할당을 구현하는 방법을 구체적으로 소개합니다.

SageMaker Unified Studio 소개

Amazon SageMaker Unified Studio는 AWS에서 제공하는 통합 데이터 및 AI 개발 환경으로, SQL 분석, 데이터 처리, 모델 개발, 생성형 AI 애플리케이션 구축을 하나의 플랫폼에서 실행할 수 있습니다. 사용자는 ‘도메인(domain)’과 ‘프로젝트(project)’ 개념을 통해 팀 단위의 효율적인 협업 환경을 구축할 수 있으며, 모든 리소스는 태그(tag)를 기반으로 관리되어 비용 효율적인 운영이 가능합니다.

도입을 위한 사전 준비

이 가이드를 따라 SageMaker Unified Studio에서 비용 할당을 수행하려면 다음 사전 구성 요소가 필요합니다.

• AWS IAM Identity Center 구성
• AWS Cost Explorer 활성화
• Athena와 통합된 CUR 또는 Data Exports 설정

SageMaker Unified Studio 도메인과 프로젝트 생성

1단계는 도메인과 프로젝트를 생성하는 것입니다. Quick Setup을 통해 도메인을 빠르게 설정할 수 있으며, 이후 Unified Studio에서 바로 새 프로젝트를 생성할 수 있습니다. 프로젝트 생성 시 ‘프로젝트 프로필’을 선택하고 SQL 분석 환경을 기반으로 구성할 수 있습니다.

비용 태그 구성

SageMaker Unified Studio는 AWS CloudFormation 스택을 활용해 프로젝트 리소스를 생성하며, 아래와 같은 태그가 자동으로 설정됩니다:

• AmazonDataZoneDomain
• AmazonDataZoneProject
• AmazonDataZoneEnvironment
• AmazonDataZoneBlueprint

이러한 태그들을 ‘비용 할당 태그’로 활성화하세요. AWS Billing 콘솔에서 Cost allocation tags 메뉴로 이동해 위 태그들을 선택하고 활성화하면 됩니다.

비용 데이터 생성 및 측정

비용 측정을 위해 Amazon Redshift Serverless를 활용해 샘플 데이터를 처리할 수 있습니다. SageMaker Studio 내 쿼리 편집기를 통해 테이블 생성 및 데이터 적재 쿼리를 실행하고, 이를 기반으로 비용을 발생시킬 수 있습니다.

비용 분석 및 추적

1. Cost Explorer 활용

비용 태그가 활성화되면 AWS Cost Explorer에서 프로젝트 단위로 비용을 집계할 수 있습니다. 분석 시에는 ‘Tag → AmazonDataZoneProject’를 조건으로 설정해 프로젝트 단위의 비용 흐름을 시각화할 수 있습니다.

2. Data Exports + Athena 활용

Data Exports를 활성화하고 Athena와 연결하면 SQL로 세부 비용 데이터를 조회할 수 있습니다. 아래 쿼리는 프로젝트 단위로 비용을 산출하는 구문 예시입니다.

SELECT product_servicecode,
       product_product_family,
       resource_tags['user_amazon_data_zone_project'] as user_amazon_data_zone_project,
       round(sum(line_item_unblended_cost), 2) costs,
       line_item_line_item_description
  FROM "data_exports"."data_exportdata"
 WHERE resource_tags['user_amazon_data_zone_project'] != ''
 GROUP BY product_product_family,
          product_servicecode,
          resource_tags['user_amazon_data_zone_project'],
          line_item_line_item_description
 ORDER BY costs DESC;

3. QuickSight 대시보드 구성

비즈니스 사용자에게 시각적인 비용 관리 경험을 제공하려면 Amazon QuickSight와 연결해 대시보드를 구현할 수 있습니다. Data Exports를 기반으로 SQL 쿼리로 데이터셋을 구성한 후, 월별 비용, 서비스별 분류 등 시각화 요소를 포함한 대시보드를 제작할 수 있습니다.

클린업 가이드

서비스 사용 종료 후에는 불필요한 비용을 방지하기 위해 아래 리소스를 정리해야 합니다:

• SageMaker Project 및 Domain 삭제
• Data Exports 보고서 삭제
• QuickSight 구독 취소

결론

Amazon SageMaker Unified Studio는 다양한 AI 및 분석 작업을 단일 플랫폼 내에서 수행할 수 있도록 설계된 강력한 도구입니다. 본 가이드를 통해 프로젝트 단위로 클라우드 리소스 비용을 추적하고 관리하는 자동화 및 최적화 방법을 배웠습니다. 이를 통해 정확한 비용 배분과 효율적인 회계 시스템 구현이 가능해지며, 조직 내 FinOps 전략 수립에도 큰 도움이 됩니다.

지금 AWS SageMaker와 비용 관리 도구를 활용해 프로젝트별 클라우드 비용을 통제하고 조직 운영의 민첩성을 향상시켜 보세요.

https://aws.amazon.com/blogs/big-data/perform-per-project-cost-allocation-in-amazon-sagemaker-unified-studio/