SageMaker AI의 자동화된 인스턴스 풀 관리

SageMaker AI의 인스턴스 풀을 통한 자동화된 인프라 관리

도입

최근 AI 솔루션의 대규모 확장으로 신뢰할 수 있는 GPU 계산 자원을 확보하는 것이 주요 과제로 대두되고 있습니다. 특히, 대규모 언어 모델(LLM)과 다중 모달 아키텍처는 특정 인스턴스 타입을 요구하며, 이는 가용성이 떨어질 경우 엔드포인트가 서비스를 제공하기도 전에 실패하는 결과를 초래할 수 있습니다. 이러한 문제를 해결하기 위해 Amazon SageMaker AI는 새로운 기능인 'Capacity-aware Instance Pool'을 도입하여 자동화된 인프라 관리를 지원하고 있습니다.

본문

SageMaker AI의 Capacity-aware Instance Pool 작동 방식

전통적으로 SageMaker AI에서는 하나의 인스턴스 타입에 고정하여 엔드포인트를 생성했습니다. 만약 용량이 부족하다면, 사용자들은 수동으로 다른 인스턴스 타입을 선택하고 설정을 변경해야 하는 번거로움이 있었습니다. 그러나 이제는 구성 파일에 우선 순위에 따라 여러 인스턴스 타입을 나열하여 인스턴스 풀이 자동으로 작동하게 할 수 있습니다. 우선순위에 따른 인스턴스 풀은 엔드포인트 생성 시, 스케일 아웃 및 스케일 인 시에 효율적으로 작동합니다.

구현 사례 보기

주어진 이미지에서 볼 수 있듯이, SageMaker AI는 초기에 선택된 인스턴스 타입으로 시작하며, 가용 용량이 없을 경우 우선순위가 높은 다른 타입으로 자동적으로 전환하여 인스턴스를 할당합니다.

응용 예: 혼합 플릿의 오토 스케일링

혼합 플릿의 경우, SageMaker AI는 풋에 설정된 우선순위 로직을 따릅니다. 기본적으로 스케일 아웃은 높은 우선순위의 풀부터 시도하고, 불가할 경우 다음 순위 풀로 넘어갑니다. 반대로 스케일 인은 가장 낮은 우선순위 인스턴스를 먼저 제거하여 사용자를 위한 호환성 있는 환경을 보장합니다.

클라우드워치의 활용과 모니터링

클라우드워치에서는 모든 인스턴스 타입별로 구체적인 메트릭을 제공하여 향후 문제해결 및 운영 효율성을 높이는데 기여합니다. 모델 지연시간, 동시 요청 수, GPU 활용률 등의 메트릭을 통해 실시간으로 다양한 지표를 모니터링할 수 있습니다.

결론

Amazon SageMaker AI의 인스턴스 풀 기능은 인프라 관리의 복잡성을 줄이면서도 자동화를 통해 효율성을 극대화합니다. 엔드포인트 구성의 단순 변경을 통해 복잡한 수작업 없이도 유연한 ML 인프라 구축이 가능하며, 이는 실제 비용에 대한 부담 없이 기존 문제를 해결하는데 큰 도움이 됩니다. 이 기능은 대규모 AI 프로젝트의 원활한 운영을 지원하며, 인스턴스 타입의 가용성에 기반한 지능적 배포를 보장합니다.

[1] https://aws.amazon.com/blogs/machine-learning/capacity-aware-inference-automatic-instance-fallback-for-sagemaker-ai-endpoints/