Amazon SageMaker HyperPod와 NVIDIA Cosmos 3를 활용한 물리적 AI 모델 공장 구축

서론

오늘날 AI 기술은 물리적인 AI 시스템, 예를 들어 로봇이나 자율주행 자동차(AV)를 더욱 효율적이고 지능적으로 만드는 데에 중점을 두고 있습니다. 이러한 물리적 AI 시스템을 구축하려면 데이터의 지속적인 수집과 모델의 적응이 필요합니다. Amazon SageMaker HyperPod와 NVIDIA Cosmos 3는 이러한 요구를 충족시킬 수 있는 플랫폼을 제공합니다. 이번 글에서는 이 시스템을 활용한 물리적 AI 모델 공장을 구축하는 방법을 소개합니다.

본문

Cosmos 3의 특징과 SageMaker HyperPod의 연계

Cosmos 3는 각 레이어마다 통합된 공동 주의 집중을 갖춘 트랜스포머의 혼합구조(Mixture-of-Transformers, MoT)를 가진 독특한 AI 모델입니다. 이 모델은 텍스트, 비디오, 오디오, 행동을 단일 토큰 스트림으로 처리할 수 있어, 다양한 모달리티를 지원합니다. 이러한 특성은 Amazon SageMaker HyperPod가 제공하는 클러스터 환경과 적절하게 결합되어 AI 모델의 지속적이고 효율적인 배포가 가능합니다.

Amazon Elastic Kubernetes Service (Amazon EKS)를 통한 HyperPod의 오케스트레이션은 클러스터와 공유 다중 테라바이트의 저장 공간 레이어를 쉽게 설정할 수 있으며, 로봇 정책을 포함한 다양한 워크로드의 분산 후처리를 효과적으로 관리할 수 있습니다. 실제로, 다음과 같은 공정한 사용 시나리오가 가능한 환경을 제공합니다:

• 서로 다른 스테이지에 대한 GPU 용량 프로비전
• NVIDIA Cosmos 3의 다중 모달리티 데이터를 통한 통합 작업

물리적 AI 모델 공장의 구조

물리적 AI 모델 공장은 실제 데이터를 처리하고 새로운 데이터를 생성하여 모델을 지속적으로 향상시킵니다. 이 루프의 각 단계는 Amazon SageMaker HyperPod의 EKS 클러스터와 긴밀히 통합되어 있으며, 다음과 같은 장점이 있습니다.

• 단일 클러스터 관리: 모든 스테이지를 위한 클러스터를 중앙에서 관리하여, 리소스 재배치와 데이터 이전이 불필요하게 됩니다.
• 상태 모니터링과 자동 복구: 지속적으로 클러스터의 상태를 감시하고 문제가 발생할 경우 자동으로 복구 가능하도록 합니다.
• 효율적인 저장 공간 활용: Amazon FSx for Lustre와 Amazon S3를 통해 대용량 데이터를 효과적으로 관리할 수 있도록 구성되어 있습니다.

실제 적용 사례

본 절에서는 Cosmos 3와 Amazon SageMaker HyperPod를 활용한 물리적 AI 모델 공장의 실제 구축 사례를 분석합니다. Amazon SageMaker EKS 클러스터 기반으로 구축된 AI 모델 공장에서의 GPU 활용과 모델 FLOPs 활용도 등을 측정할 수 있는 방법도 설명합니다.

CUDA, NCCL 및 EFA를 통한 다중 노드 구성 및 자원 배치도 자세히 다루어, 사용자가 자신의 환경에 맞춰 클러스터를 최적화할 수 있는 방법을 제공합니다.

결론

NVIDIA Cosmos 3와 Amazon SageMaker HyperPod의 결합은 물리적 AI 모델의 개발과 운영에 있어 강력한 도구입니다. 위에서 설명한 방법은 지속적인 모델 개선과 데이터 활용의 효율성을 높입니다. 이 가이드라인은 여러분의 조직에서 효율적인 AI 모델 배포와 관리에 도움이 될 것이며, 다양한 산업 분야에 적용 가능한 모델 구축의 청사진을 제시합니다.

[1] https://aws.amazon.com/blogs/machine-learning/build-a-physical-ai-model-factory-with-nvidia-cosmos-3-on-sagemaker-hyperpod/