Amazon Bedrock 기반 Nova 사용자 정의 모델 온디맨드 배포 기능 소개

아마존 베드록(Amazon Bedrock)을 활용한 Nova 사용자 정의 모델의 온디맨드 배포 기능 소개

최근 AWS는 사용자 정의된 Nova 모델을 위해 Amazon Bedrock 기반의 온디맨드(요청 시) 배포 기능을 새롭게 공개했습니다. 이를 통해 이제 개발자 및 기업은 사전 컴퓨팅 리소스(provisioned resources)를 확보하지 않아도 실시간 추론 처리 및 자동화된 배포가 가능해졌습니다. 특히 이를 활용하면 지속적으로 실행되는 인프라 유지 비용을 크게 줄이고, 사용량 기반 과금 모델로 효율적인 운영이 가능해집니다.

Nova 모델 온디맨드 배포란?

Amazon Bedrock은 다양한 생성형 AI 모델을 단일 API를 통해 제공하는 완전관리형 서비스입니다. 이 플랫폼에서 기능 개선된 부분 중 하나가 바로 베드록 또는 SageMaker를 통해 커스터마이징된 Nova 모델의 온디맨드 배포 기능입니다.

여기서 말하는 ‘커스터마이징’이란 사내 업무 혹은 특정 도메인에 최적화된 Fine-tuning이나 Distillation 등의 기술을 통해 Nova 모델을 조정하는 것입니다. 이번 업데이트로 2025년 7월 16일 이후에 생성된 사용자 정의 Nova 모델들은 온디맨드로 호출할 수 있는 기능이 제공되기 시작했습니다.

주요 활용 포인트 및 사례

1. 비용 최적화
   기존에는 모델이 상시 실행되는 구조로 인해, 예측 요청이 없더라도 컴퓨팅 자원을 유지해야 했습니다. 온디맨드 배포는 실행될 때만 리소스를 소비하므로, 다이나믹한 트래픽 환경 또는 간헐적 수요에 적합합니다.

2. 유연한 모델 관리
   Nova 모델이 SageMaker에서 커스터마이징되었든, Bedrock 내부에서 튜닝되었든 상관없이, 동일한 API-기반 호출 형식으로 실시간 응답이 가능하여, 통합 자동화 파이프라인 구성에 유리합니다.

3. DevOps 및 MLOps 연계
   온디맨드 배포는 IaC(Infrastructure as Code) 방식으로 배포 자동화가 가능하므로, CI/CD 파이프라인에서의 모델 업데이트 및 확장성 있는 배포 전략에도 강력한 이점을 제공합니다.

적용 예시
한 리테일 기업에서는 시즌 마케팅 QA 챗봇을 위해 커스터마이즈된 Nova 모델을 사용하고 있습니다. 해당 모델은 특정 기간에만 대량 호출이 필요한 구조로, 기존에는 비효율적인 상시 인프라가 필요했으나, 온디맨드 배포 적용 후 단 40% 수준의 인프라 비용만으로 동일한 성능을 유지할 수 있었습니다.

결론

이제 Amazon Bedrock은 단순한 모델 호스팅 플랫폼을 넘어서, 비용 효율성과 유연한 운영이 가능한 MLOps 환경까지 제공합니다. Nova 사용자 정의 모델의 온디맨드 배포 기능은 특히 비용, 확장성, 자동화 측면에서 매우 강력한 도구가 될 것입니다. 향후 생성형 AI를 프로덕션 환경에서 효과적으로 운영하기 위해서는 이러한 기능의 활용이 더욱 중요해질 것입니다.

https://aws.amazon.com/blogs/aws/announcing-on-demand-deployment-for-custom-amazon-nova-models-in-amazon-bedrock/