AWS SageMaker AI로 이미지와 동영상 생성하기

소개

이번 포스트에서는 AWS SageMaker AI를 활용하여 텍스트 프롬프트를 이미지로 변환하고, 그 이미지를 짧은 동영상으로 만들어보겠습니다. AWS의 vLLM-Omni Deep Learning Container(DLC)를 활용하여 두 종류의 엔드포인트, 실시간 이미지 생성과 비동기 동영상 생성을 배포합니다.

본문

AWS Deep Learning Containers는 다양한 프레임워크와 종속성을 패키징하여 AWS에서 훈련과 추론을 쉽게 할 수 있게 해 줍니다. vLLM-Omni DLC는 이러한 평가판을 포함하고 SageMaker AI를 위한 라우팅 미들웨어를 추가합니다.

주요 내용 및 사례

실시간 이미지 생성은 FLUX.2-klein-4B 모델을 이용하여 프롬프트가 포함된 JPEG형식의 이미지를 생성하며, 비동기 동영상 생성을 위해 Wan2.1-VACE-1.3B 모델을 사용합니다. SageMaker AI의 비동기 추론 엔드포인트는 Amazon S3를 통해 MP4 동영상을 저장하고 반환합니다.

구현 및 활용 방법

이 작업 흐름은 두 개의 SageMaker AI 엔드포인트를 배포하여 수행합니다. 하나는 FLUX.2-klein을 통한 실시간 이미지 생성을, 다른 하나는 Wan VACE를 통한 비동기 동영상 생성을 담당합니다. 각 모델에 맞는 인스턴스 타입과 추론 옵션을 사용하여 효율성을 증가시킵니다.

이미지와 동영상 생성 절차

1. 텍스트 프롬프트를 입력하여 FLUX.2-klein을 통해 이미지를 생성합니다.
2. 그런 다음, 생성된 이미지를 사용하여 Wan2.1-VACE를 통해 동영상을 제작합니다.
3. 결과로 생성된 MP4 파일은 Amazon S3를 통해 파일로 저장됩니다.

사례 및 성능 비교

한 예로, US East (N. Virginia) AWS Region에서 테스트한 결과, ml.g6.xlarge 이미지를 생성하는 엔드포인트가 9분 30초 만에 InService 상태에 도달했으며, 비동기 동영상 엔드포인트는 8분 40초 만에 도달하였습니다. 이렇게 설정한 인스턴스를 사용하여 성능과 비용을 최적화하는 방법을 배우실 수 있습니다.

결론

AWS vLLM-Omni DLC의 배포를 통해 두 가지 생성 미디어 모델을 효과적으로 사용할 수 있는 방법을 알아보고, SageMaker AI의 실시간 및 비동기 추론 시스템을 통해 알아본 내용을 바탕으로 응용할 수 있는 다양한 모델과 워크로드에 맞게 조정 및 확장할 수 있습니다.

[1] https://aws.amazon.com/blogs/machine-learning/generate-images-and-video-with-vllm-omni-on-sagemaker-ai-part-2/