AWS CDK를 활용한 Amazon SageMaker AI 엔드포인트 자동 확장 오케스트레이션 가이드

AWS CDK를 활용한 Amazon SageMaker AI 엔드포인트 자동 확장 오케스트레이션 가이드

AWS Cloud Development Kit(AWS CDK)를 이용하여 Amazon SageMaker AI 엔드포인트의 자동 확장 기능을 효율적으로 관리하는 방법을 소개합니다. SageMaker AI 엔드포인트를 업데이트할 때 발생하는 자동 확장 등록 취소 및 재등록 문제를 해결하기 위해, 세 가지 CloudFormation 사용자 지정 리소스를 활용하여 엔드포인트 업데이트 시 자동 확장이 원활하게 작동하도록 합니다. 이번 글에서는 이를 위한 설정 및 구현 절차를 단계별로 설명합니다.

문제 발생 원인
기본 CloudFormation 리소스를 사용하여 SageMaker AI 엔드포인트를 배포하고 업데이트할 때, 자동 확장 기능이 올바르게 등록 및 유지되지 않는 문제가 발생할 수 있습니다. 이는 CloudFormation이 자동 확장 리소스를 트래킹할 수 없기 때문에 발생합니다.

해결 방안 개요
AWS CDK를 활용한 사용자 지정 리소스를 사용하여, 엔드포인트 업데이트 중 자동 확장 기능을 효율적으로 관리하는 방법에 대해 설명합니다. 구체적인 순서는 다음과 같습니다.

1. (사용자 지정 리소스) 자동 확장 목표 제거: 엔드포인트 업데이트 시작 전 자동 확장 목표를 제거합니다.
2. (CDK 관리) 엔드포인트 업데이트: 새로운 엔드포인트 구성을 위한 업데이트 진행.
3. (사용자 지정 리소스) 자동 확장 목표 등록: 엔드포인트가 InService 상태가 된 후, 자동 확장 목표를 등록합니다.
4. (사용자 지정 리소스) 확장 정책 적용: 기대한 확장 정책을 적용합니다.

각 단계는 명시적 종속성 순서를 따르며, 이러한 일련의 과정은 AWS Step Functions 및 Lambda를 통해 비동기 패턴으로 운영됩니다.

설치 및 설정 안내

1. 해당 GitHub 저장소를 클론하고 의존성을 설치합니다.
2. 구성 파일을 통해 엔드포인트와 자동 확장 설정을 정의합니다.
3. CDK를 통해 스택을 배포하여 설정 적용을 확인합니다.

테스트 및 유지 관리
엔드포인트와 자동 확장 설정 변경 후 재배포 시 자동 확장용 리소스가 올바르게 재등록되는지 확인할 수 있습니다.

자동 확장 통합
기존의 CDK 스택이나 새로운 프로젝트에 SageMakerAutoscalingConstruct를 통합하여 엔드포인트 리소스와 함께 배치할 수 있습니다.

결론
AWS SageMaker AI에서 자동 확장이 제대로 동작하도록 유용한 네 가지 단계(목적지 제거, 엔드포인트 업데이트, 목표 등록, 정책 부착)를 통합하여 엔드포인트 업데이트 문제를 해결하는 방법을 살펴보았습니다. 더 자세한 내용은 제공된 GitHub 저장소를 참조하시기 바랍니다.

[1] https://aws.amazon.com/blogs/machine-learning/orchestrating-sagemaker-ai-endpoint-auto-scaling-with-aws-cdk/