메뉴 닫기

아마존 SageMaker HyperPod 글로벌 추론 게이트웨이 소개

아마존 SageMaker 하이퍼포드 글로벌 추론 게이트웨이 소개

무너질 듯한 트래픽 혼잡 상황에서, 한 HyperPod 클러스터에 요청이 큐에 잡혀 있는 동안 한발 물러난 다른 리전(Region)의 GPU는 일을 하지 않고 대기하고 있습니다. 우리는 이러한 상황을 해결하기 위한 솔루션으로, 아마존 SageMaker HyperPod 글로벌 추론 게이트웨이를 소개하고자 합니다. 이 게이트웨이는 모든 클러스터를 등록하고 한 리전 내 또는 여러 리전에 걸쳐 경로를 제공하는 SageMaker 관리 게이트웨이입니다. AWS 백본을 통해 클러스터를 선택하고 요청을 자동으로 장애 발생 시 다른 클러스터로 이동시키고 인증도 AWS Signature Version 4 (SigV4)와 IAM을 통해 이루어집니다.

Global Inference Gateway의 이점

Amazon SageMaker HyperPod 글로벌 추론 게이트웨이는 사내 GPU 용량을 더욱 효과적으로 활용할 수 있도록 지원하며, 다음과 같은 이점을 제공합니다:

  • 초과 요청 처리: 혼잡한 클러스터에 큐에 잡혀 있는 대신, 여유 있는 클러스터로 요청 초과 대응
  • 자동 장애 조치: 클러스터 장애 시, 게이트웨이가 핸들링하며 클라이언트는 어떠한 변경 없이 사용 가능
  • 단일 엔드포인트 사용: 클러스터별 별도 엔드포인트 관리 불필요
  • 맞춤형 네트워크 설정 불필요: 로드 밸런싱, DNS, 크로스 리전 네트워킹 설정 불필요하며 AWS PrivateLink를 통해 프라이빗한 환경에서 요청 처리
  • 보안 강화: 요청이 AWS PrivateLink를 통해서만 전달됨

구축 및 사용 사례

Bagelcode 사례: Bagelcode는 AWS에서 자체 LLM 추론 서비스를 실행 중이고, 아마존 SageMaker HyperPod 글로벌 추론 게이트웨이를 통해 두 AWS 리전 사이에서 한 엔드포인트를 이용한 요청 라우팅을 시험하고 있습니다. 덕분에 작은 플랫폼 팀이 자체적인 라우팅 계층을 구축할 필요 없이 크로스 리전 장애 조치가 가능했습니다.

SageMaker HyperPod Global Inference Gateway 설정

게이트웨이 설정은 크게 두 단계로 구성되어 있습니다:

  1. 클러스터 공개: 클러스터당 한 번 InferenceGatewayConfig 내의 spec.globalRouting 블록을 활성화하여 프라이빗하게 클러스터를 게시
  2. 게이트웨이 생성: CreateGlobalInferenceGateway 호출하여 클러스터를 통해 라우팅 설정 및 SageMaker로부터 단일 엔드포인트 획득

추가로 OpenAI 호환 요청을 SigV4를 사용해 서명하고 게이트웨이 엔드포인트에 전송하며, AWS 문서에서 자세한 정보를 확인할 수 있습니다.

결론

Amazon SageMaker HyperPod 글로벌 추론 게이트웨이는 단일 리전 내 또는 여러 리전 내의 HyperPod 클러스터를 통해 하나의 SageMaker 관리 엔드포인트를 제공하여 요청을 수행합니다. 이는 고객으로 하여금 합리적인 GPU 자원 활용과 원활한 작업 환경을 보장합니다.

[1] https://aws.amazon.com/blogs/machine-learning/introducing-amazon-sagemaker-hyperpod-global-inference-gateway-one-endpoint-across-regions-and-clusters/

AI, Cloud 관련한 문의는 아래 연락처로 연락주세요!

(주)에이클라우드
이메일 : acloud@a-cloud.co.kr
회사 번호 : 02-538-3988
회사 홈페이지 : https://www.a-cloud.co.kr/
문의하기


AI, Cloud 도입 상담 배너