메뉴 닫기

Amazon SageMaker HyperPod의 향상된 관찰 가능성 소개

Amazon SageMaker HyperPod의 향상된 관찰 가능성을 소개

AI 기술이 발전함에 따라, 대규모 모델 훈련은 점점 더 많은 GPU 자원을 필요로 하게 되었습니다. 이러한 배분형 훈련의 핵심은 비용 효율성을 높이고, 성능을 최적화하는 데 있습니다. 이 글에서는 Amazon SageMaker HyperPod의 발전된 인프라 관찰 가능성을 통해 GPU 훈련 문제를 빠르게 진단하고 해결하는 방법을 소개합니다.

주요 내용 및 사례

Amazon SageMaker HyperPod은 최근 GPU 훈련 문제의 진단을 용이하게 하기 위해 향상된 관찰 가능성을 발표했습니다. 이는 Amazon Elastic Kubernetes Service (Amazon EKS) 와 Slurm 오케스트레이터에서 운영되는 훈련 작업에 대한 진단 및 프로파일링 기능을 제공합니다. 진단 요약을 통해 각 GPU의 활용도, 메모리, 온도, 전력 및 SM 클럭을 비교하며, 동료와의 편차를 맞춘 GPU를 표시합니다. 고정 진단 규칙을 사용하면 GPU 하드웨어 오류, EFA 처리량 저하, 열 스로틀링과 같은 공통 실패 패턴을 나타내어 문제를 사전에 포착할 수 있습니다.

이러한 기능들은 장애 조치를 크게 단축하고, 고가의 가속기가 지속적으로 효율적으로 작동하도록 돕습니다.

활용 및 배포 가이드

Amazon SageMaker HyperPod의 향상된 관찰 가능성은 기본 메트릭과 심화 메트릭으로 구성됩니다. 기본 메트릭은 클러스터 건강 상태, CPU/디스크/OS 사용량, GPU 활용도 및 온도, 작업 단위 자원 사용량 등을 포함합니다. 향상된 메트릭은 호스트 수준의 포괄적인 메트릭, NVIDIA GPU DCGM 및 AWS Neuron 메트릭, Elastic Fabric Adapter (EFA) 메트릭 등을 포함하여 더욱 깊이 있는 통찰력을 제공합니다.

메트릭 저장소로는 기본 Amazon CloudWatch와 Amazon Managed Service for Prometheus 중 선택할 수 있습니다. Amazon CloudWatch는 더 낮은 비용과 SageMaker 콘솔과의 긴밀한 통합을 제공합니다.

HyperPod 관찰 가능성은 EKS 또는 Slurm 오케스트레이트 클러스터에서 애드온 혹은 확장 기능으로 제공되며, AWS Identity and Access Management (IAM)를 통해 설치 및 변경 권한을 제어할 수 있습니다.

결론

Amazon SageMaker HyperPod의 향상된 관찰 가능성은 대규모 AI 훈련을 효과적으로 모니터링하고, 문제가 발생하였을 때 빠르게 대응할 수 있게 하는 강력한 도구입니다. 이를 통해 비용 효율성을 높이고, 성능을 최적화할 수 있어, 기업의 AI 인프라 운영에 큰 도움을 줄 것입니다.

[1] https://aws.amazon.com/blogs/machine-learning/introducing-enhanced-observability-in-amazon-sagemaker-hyperpod-to-diagnose-gpu-training-issues/

AI, Cloud 관련한 문의는 아래 연락처로 연락주세요!

(주)에이클라우드
이메일 : acloud@a-cloud.co.kr
회사 번호 : 02-538-3988
회사 홈페이지 : https://www.a-cloud.co.kr/
문의하기


AI, Cloud 도입 상담 배너