NVIDIA DGX Cloud와 Amazon Bedrock을 활용한 생성형 AI 자동화 및 배포 전략

AWS에서 NVIDIA DGX Cloud와 Amazon Bedrock을 활용한 생성형 AI 워크플로우 자동화 및 모델 배포 가이드

AI의 활용 범위가 넓어짐에 따라 기업들은 효율적이고 확장 가능한 방식으로 생성형 AI 모델을 개발하고 배포할 수 있는 인프라를 필요로 하고 있습니다. 이에 따라 AWS는 NVIDIA와 협력하여 DGX Cloud 플랫폼을 제공하며, Amazon Bedrock의 Custom Model Import 기능을 통해 손쉽게 고성능 AI 모델을 배포할 수 있도록 지원합니다.

이번 포스팅에서는 NVIDIA DGX Cloud on AWS를 통한 생성형 AI 워크플로우 자동화 사례를 소개하고, 이를 위해 필요한 설정 가이드 및 모델 배포 방법을 실제 예제와 함께 설명합니다.

DGX Cloud on AWS 개요

NVIDIA DGX Cloud는 대규모 GPU 지원이 가능하도록 AWS와 공동 개발된 완전관리형 인프라로, 빠른 모델 학습 및 튜닝을 요구하는 AI 프로젝트에 적합합니다. 특히 최신 NVIDIA H100 GPU 기반의 EC2 P5 인스턴스를 사용하여 최대 3200Gbps 이상의 네트워크 대역폭을 제공하며, FSx for Lustre 파일 시스템으로 고성능 공유 스토리지를 제공합니다.

또한 Kubernetes 기반의 클러스터 오케스트레이션은 Amazon EKS와 NVIDIA NeMo 및 Run:ai로 구성되어 있으며, 클러스터는 전용 환경으로 사용자에게 완전한 리소스 격리를 제공합니다.

클러스터 구성 및 작업 환경 설정 방법

사용자는 DGX Cloud 클러스터에 접근한 후, Run:ai 플랫폼을 통해 조직 내 프로젝트와 부서 단위별 할당량 관리가 가능합니다. 이후 사용자는 할당된 GPU와 스토리지를 활용하여 실시간 Jupyter 노트북 워크스페이스를 생성하고 인터랙티브한 데이터를 처리할 수 있습니다.

Fine-Tuning: LLaMA3 모델 튜닝 과정

이번 예제에서는 Hugging Face의 Llama 3.1-70B 모델을 NVIDIA NeMo 프레임워크를 활용하여 DGX Cloud에서 파인튜닝합니다. Daring-Anteater 데이터셋을 기반으로 모델이 사용자 지시를 보다 정확히 따를 수 있도록 학습하며, 최종적으로는 모델을 safetensor 형식으로 변환 후 Amazon S3에 저장합니다.

AWS Bedrock을 활용한 커스텀 모델 배포 가이드

학습이 완료된 모델은 Amazon Bedrock의 Custom Model Import 기능을 사용하여 간단하게 서버리스 방식으로 배포됩니다. 사용자는 S3에 저장된 모델 파일과 토크나이저 설정 등을 입력 후, AWS KMS 키를 통한 암호화를 설정할 수 있습니다.

Amazon Bedrock Playground를 이용한 자동화 테스트 및 활용

배포된 모델은 Amazon Bedrock의 Playground에서 직접 프롬프트 테스트가 가능하며, 다양한 구성 옵션과 함께 텍스트 응답, 챗봇 시나리오 등을 직접 시험해볼 수 있습니다. 이를 통해 자체 애플리케이션에 적용 전에 응답 정확성과 응용 시나리오를 검증할 수 있습니다.

활용 및 배포의 효율성 비교

NVIDIA DGX Cloud on AWS는 전통적인 온프레미스 GPU 서버 대비 초기 인프라 구축 부담이 낮고, Amazon Bedrock의 서버리스 배포 기능을 통해 운영적인 복잡성을 크게 줄일 수 있습니다. 또한 학습 → 튜닝 → 배포까지의 전체 워크플로우가 통합되므로 생성형 AI 모델을 서비스에 빠르게 적용할 수 있는 점이 큰 장점입니다.

결론

이번 글에서는 NVIDIA DGX Cloud on AWS와 Amazon Bedrock을 활용한 생성형 AI 모델 구성, 학습, 배포 자동화 워크플로우에 대해 자세히 살펴보았습니다. 이는 기업이 AI 활용에 있어 혁신 속도를 높이고 운용 효율성을 극대화하는 매우 유용한 전략입니다. DGX Cloud를 통해 고성능 학습 환경을 확보하고, Bedrock으로 운영 부담 없는 안정적인 배포가 가능하므로 차세대 AI 프로젝트에 적합한 최적의 솔루션이 됩니다.

https://aws.amazon.com/blogs/machine-learning/supercharge-generative-ai-workflows-with-nvidia-dgx-cloud-on-aws-and-amazon-bedrock-custom-model-import/