Amazon SageMaker AI와 G7e 인스턴스를 통한 생성 AI 추론 가속화

Amazon SageMaker AI에서 G7e 인스턴스를 통한 생성 AI의 추론 가속화

Amazon SageMaker는 AI와 머신러닝 솔루션을 최적화하는 데 중점을 두고 있습니다. 최근 아마존은 NVIDIA RTX PRO 6000 Blackwell GPU를 탑재한 G7e 인스턴스의 출시를 발표하며, AI 모델의 성능을 혁신적으로 개선할 수 있는 기회를 제공하고 있습니다. 이 글에서는 G7e 인스턴스의 주요 특징과 이를 활용한 생성 AI 추론 가속화에 대해 소개하고, 실질적인 성능 비교와 활용 사례를 탐색합니다.

주요 내용 및 사례

NVIDIA RTX PRO 6000이 탑재된 G7e 인스턴스는 높은 메모리와 네트워킹을 자랑합니다. 각 GPU당 96GB의 GDDR7 메모리를 제공하여, 대규모 언어 모델의 운영과 배포를 지원합니다. 이에 따라 G7e 인스턴스를 활용하면, 노드 하나로도 최대 35B 매개변수 모델을 실행할 수 있어 비용 효율적인 솔루션을 제공합니다. 다음은 G7e 인스턴스의 주요 특징입니다:

• G7e 인스턴스는 이전 세대인 G6e에 비해 GPU 메모리 용량을 2배, 네트워크 처리량을 최대 1600Gbps까지 확장하였습니다.
• 4개의 GPU 노드에서는 최대 150B 매개변수 모델, 8개의 GPU 노드에서는 300B 매개변수 모델을 동시 운영할 수 있습니다.

이는 대규모 AI 작업의 성능 향상뿐만 아니라, 오퍼레이션 복잡성을 줄이고 로우 레이턴시의 멀티 노드 추론 시나리오를 실현합니다.

G7e 인스턴스의 활용 사례

G7e 인스턴스는 다음과 같은 현대의 생성 AI 워크로드에 적합합니다:

• 챗봇 및 대화형 AI: TTFT(Time to First Token)가 빠르며, 높은 처리량을 유지하여 사용자와의 상호작용을 최적화합니다.
• 에이전틱(Agentic) 및 도구 호출 워크플로우: CPU에서 GPU까지의 대역폭 4배 향상은 RAG 파이프라인에서 효과적입니다.
• 텍스트 생성 및 요약: 대형 문서 문맥을 위한 대규모 KV 캐시 지원으로 보다 풍부한 추론 가능.
• 물리 AI 및 과학 컴퓨팅: Blackwell 세대의 컴퓨팅과 FP4 지원을 통해 디지털 트윈 및 3D 시뮬레이션에 활용 가능.

최종 결론

G7e 인스턴스를 통한 SageMaker AI의 추론 가속화는 비용 효율성과 고성능을 동시에 달성할 수 있는 유용한 솔루션입니다. EAGLE 기반의 스페큘레이티브 디코딩을 결합함으로써 생성 AI 작업의 효율성을 극대화할 수 있으며, 첨단 하드웨어와 소프트웨어의 조화를 통해 더욱 발전할 수 있습니다. 이를 통해 현대 AI 작업의 비용을 절감하고 성능을 최적화할 수 있습니다.

[1] https://aws.amazon.com/blogs/machine-learning/accelerate-generative-ai-inference-on-amazon-sagemaker-ai-with-g7e-instances/