AWS SageMaker HyperPod와 InstantStart 운영 가이드

AWS SageMaker HyperPod와 InstantStart의 운영 가이드

아마존 SageMaker HyperPod는 기초 모델(FM) 워크로드를 쉽게 실행할 수 있도록 설계된 플랫폼으로, AWS EKS와 통합된 다양한 관리 기능을 제공합니다. HyperPod는 자동 노드 복구, 노드 오토스케일링, 교육 복구, 인퍼런스를 비롯한 여러 기능을 관리하여, 사용자가 더 간편하고 안정적으로 클러스터를 운영할 수 있도록 돕습니다. 이번 포스트에서는 HyperPod와 이를 활용하는 HyperPod InstantStart 컨트롤 플레인을 중심으로 보며, 이 시스템이 어떻게 효율성을 극대화하는지 살펴보겠습니다.

HyperPod InstantStart: 관리 및 자동화 솔루션

HyperPod InstantStart는 AWS 계정 내의 단일 out-of-band 관리 컨테이너로 실행되며, AWS 서비스 API와 Kubernetes API를 호출합니다. 이는 학습 작업이나 인퍼런스 요청의 데이터 경로에 영향을 주지 않으면서도, 모든 생성물은 표준 AWS 또는 Kubernetes 리소스로 관리됩니다.

AWS의 Managed Service로서, HyperPod는 인프라 모니터링을 포함한 다양한 관리 기능을 제공합니다. 네트워크 레이아웃, 멀티 클러스터 상태를 조정하고 다단계 상태 관리를 통해 클러스터 부트스트랩을 자동화합니다.

HyperPod InstantStart는 이 환경을 네 가지 레이어로 구성합니다:

• 인프라: AWS CloudFormation 및 Amazon EKS
• 용량 관리 및 복원력: HyperPod의 연속적 용량 제공, 자동화된 노드 복구
• 워크로드 및 데이터: 교육 레시피, 두 가지 인퍼런스 경로, MLflow 통합
• 인터페이스: 웹 UI, REST API, MCP 도구

활용 사례: 에이전트를 통한 클러스터 관리

HyperPod InstantStart의 에이전트 기능은 다단계 워크플로우를 통해 클러스터를 생성하고 관리할 수 있게 해줍니다. 이는 사용자가 인스턴스 유형, 가용 영역, 노드 수 등을 결정하면, 나머지 작업은 에이전트가 자동으로 처리하여 운영의 종단 간 신뢰성을 제공합니다. 결과적으로 운영자는 작업을 요청하고 에이전트가 할당 결과를 검증하고 전달합니다.

결론

HyperPod InstantStart는 AWS SageMaker HyperPod의 관리 기능과 EKS 오케스트레이션을 결합하여 안전하고 자동화된 클러스터 운영을 지원합니다. 이를 통해 사용자는 AI 인프라 운영을 더 간편하고 안정적으로 관리할 수 있으며, 효율성을 극대화할 수 있습니다.

[1] https://aws.amazon.com/blogs/machine-learning/run-agent-driven-amazon-sagemaker-hyperpod-operations-with-instantstart/