다단계 강화 학습 인프라 구축을 위한 아마존 노바와 세이지메이커 하이퍼포드 활용

도입

아마존 노바(Amazon Nova)와 아마존 세이지메이커 하이퍼포드(Amazon SageMaker HyperPod)를 활용한 다단계 강화 학습(RL) 인프라 구축은 많은 기업에게 있어 중요한 기술적 도전 과제입니다. 이 방법론은 복잡한 워크플로우 내에서 에이전트의 최적화를 가능케 하며, 인프라 관리 없이 아마존 세이지메이커의 서버리스 기능을 통해 학습 잡을 실행할 수 있도록 도와줍니다. 본 포스트에서는 다단계 RL 인프라 배포 과정과 주요 활용 예시, 배포 가이드를 소개합니다.

본문

아마존 노바 포지(Amazon Nova Forge)를 아마존 세이지메이커 하이퍼포드와 결합하여 구축한 다단계 RL 인프라는 이벤트 기반 파이프라인으로 운영됩니다. 사용자는 학습용 데이터를 Amazon S3에 업로드함으로써 학습을 시작할 수 있으며, 이 과정에서 인프라는 자동으로 컴퓨팅 리소스를 할당하고, 보상 전달 및 multi-turn RL 학습을 수행하게 됩니다.

이 인프라의 설계는 두 가지 층으로 나뉘어 있으며, 한 번의 AWS 클라우드 개발 키트(AWS CDK) 배포가 장기적인 기반을 제공하고, 각 학습 실행 시마다 일시적인 자원을 생성하는 구조로 되어 있습니다. 이러한 구조는 GPU를 비효율적으로 사용되는 것을 방지하며, 재배포 없이 빠르게 학습을 반복할 수 있도록 해줍니다.

아래 다이어그램은 해당 구성 요소들이 학습 실행 중에 상호작용하는 방식을 보여줍니다.

이 다단계 RL 파이프라인은 세 가지 컴퓨팅 층을 가로질러 연결됩니다:

1. Amazon SageMaker HyperPod: vLLM 생성 레플리카와 함께 P5 인스턴스에서 주로 훈련과 작업자가 실행됩니다.
2. ECS on Fargate: 보상 작업자는 환경을 실행하며, 모델 응답을 수신하고 평가합니다.
3. Amazon Nova Forge SDK: 모델과 보상 환경 간 메시지를 라우팅하고 회차별 대화 상태를 추적합니다.

결론

아마존 노바 포지와 아마존 세이지메이커 하이퍼포드를 활용한 다단계 RL 인프라는 복잡한 워크플로우 내에서 에이전트 학습에 강력한 해결책을 제공합니다. 이 인프라는 이벤트 기반으로 동작하여, 사용자 데이터가 업로드되면 자동으로 프로비저닝과 학습 오케스트레이션, 보상 루트를 처리합니다. 기업은 이 솔루션을 활용하여 자신들의 API 호출 에이전트나 엔터프라이즈 워크플로우에 최적화된 학습을 실행할 수 있습니다.

[1] https://aws.amazon.com/blogs/machine-learning/deploying-multi-turn-rl-infrastructure-for-amazon-nova-on-amazon-sagemaker-hyperpod/