혁신적인 GPU 파티셔닝 기능으로 엔드포인트 배포의 새로운 가능성 제공

최근 Amazon SageMaker의 혁신적인 GPU 파티셔닝 기능이 도입되어 모델 엔드포인트 배포에 대한 새로운 가능성을 열어주었습니다. 이 기능은 NVIDIA의 Multi-Instance GPU (MIG)를 활용하여 물리적 GPU를 독립적인 파티션으로 나누고, 각 파티션에 고정된 연산 단위와 독립적인 메모리 블록을 할당하는 것을 가능하게 합니다.

본문: 주요 내용 및 사례

GPU 파티셔닝의 주요 장점

GPU 파티셔닝의 가장 큰 장점 중 하나는 물리적 GPU를 여러 개의 독립적인 파티션으로 나누어 더 다양한 모델을 동시 배포할 수 있다는 것입니다. 이러한 기능은 특히 작은 규모의 모델이나 중간 크기의 모델을 사용하는 경우 활용도가 높습니다. 각 파티션은 전용 메모리 대역폭을 보장하므로, 특정 모델의 트래픽이 급증할 때도 다른 모델의 성능에 영향을 미치지 않습니다.

고객 사례: Salesforce

Salesforce는 Amazon SageMaker의 초기 개발 단계부터 이 기능을 정의하고 솔루션을 검증하는 데에 핵심적인 역할을 수행했습니다. Salesforce는 이 기능을 통해 AI 추론의 확장성과 경제성을 향상시킬 수 있으며, 모델 간 예측 가능한 성능과 강력한 격리를 유지할 수 있다고 평가하고 있습니다.

GPU 파티셔닝 활용 방법

이 기능은 엔드포인트 구성에서 추가되는 두 개의 선택적 필드를 통해 활용할 수 있습니다. 새로운 API 작업이나 IAM 권한이 필요하지 않으며, 기존의 호스트 CPU와 메모리 요구 사항뿐 아니라 파티션 타입도 모델 배포 시 선택할 수 있습니다.

성능 비교

H100 GPU의 mig-3g.40gb 파티션과 A100-40GB 전체를 비교한 결과, 파티션은 모든 시나리오에서 더 높은 처리량과 보다 짧은 응답 시간을 제공했습니다. 특히 높은 동시성 하에서 파티션 기반의 배포가 비용 효율적임이 입증되었습니다.

결론

Amazon SageMaker의 GPU 파티셔닝은 다양한 모델의 동시 배포를 통해 클라우드 인프라를 효율적으로 활용할 수 있게 합니다. 이 기능은 고성능 AI 워크로드에 맞추어 최적화된 자원 배분을 가능하게 하여 AI 모델의 배포와 확장에 새로운 기준을 제시합니다.

[1] https://aws.amazon.com/blogs/machine-learning/sagemaker-inference-now-supports-multi-instance-gpu-to-maximize-gpu-utilization-for-model-endpoints/