NVIDIA Nemotron 3 Nano Omni 모델의 Amazon SageMaker JumpStart 활용법

NVIDIA Nemotron 3 Nano Omni 모델: Amazon SageMaker JumpStart에서의 활용 방법

최근 NVIDIA의 Nemotron 3 Nano Omni 모델이 Amazon SageMaker JumpStart를 통해 사용 가능하게 되었습니다. 이 모델은 비디오, 오디오, 이미지, 텍스트 이해를 통합한 멀티모달 아키텍처로, 기업 고객이 지능형 애플리케이션을 구축할 수 있게 해줍니다.

NVIDIA Nemotron 3 Nano Omni 모델 개요

Nemotron 3 Nano Omni는 30억 활성 파라미터를 가진 개방형 멀티모달 대형 언어 모델입니다. Mamba2 Transformer Hybrid Mixture of Experts (MoE) 아키텍처를 기반으로, 언어 백본으로 Nemotron 3 Nano LLM, 이미지 및 비디오 이해를 위한 CRADIO v4-H 비전 인코더, 오디오 트랜스크립션 및 이해를 위한 Parakeet 음성 인코더를 사용합니다. 이 통합된 아키텍처는 비디오, 오디오, 이미지, 텍스트 입력을 처리하며, 텍스트 출력으로 변환합니다.

모델은 FP8 정밀도로 SageMaker JumpStart에서 제공되며, 기업 워크로드에 대한 최적의 정확도와 효율성을 제공합니다. NVIDIA Open Model Agreement에 따라 상업적 사용이 가능합니다.

기업 활용 사례

Nemotron 3 Nano Omni의 멀티모달 기능은 다양한 기업 활용 사례에 강력한 모델 선택지를 제공합니다.

1. 컴퓨터 사용 에이전트: 그래픽 사용자 인터페이스(GUI)를 탐색하는 에이전트에 인식 루프를 제공합니다.
2. 문서 인텔리전스: 문서, 차트, 표, 스크린샷 등을 해석하여 시각 구조와 텍스트 내용을 일관되게 분석합니다.
3. 오디오 및 비디오 이해 에이전트: 고객 서비스, 연구, 모니터링 워크플로우에서 오디오 및 비디오 콘텐츠를 하나의 추론 흐름으로 결합합니다.

Amazon SageMaker JumpStart를 통한 배포

Nemotron 3 Nano Omni는 Amazon SageMaker JumpStart를 통해 손쉽게 배포할 수 있습니다. 단계별 가이드에 따라 모델을 배포하고 효율적으로 추론을 실행할 수 있습니다.

1. 필수 조건 확인: AWS 계정과 필요한 권한 및 서비스 할당량 확인.
2. SageMaker Studio를 통한 배포:
   • Amazon SageMaker Studio 열기
   • JumpStart 선택 후 Nemotron 3 Nano Omni 검색 및 배포
3. SageMaker Python SDK를 통한 배포: 프로그래밍 방식으로 모델 배포 가능.

결론

NVIDIA Nemotron 3 Nano Omni는 Amazon SageMaker JumpStart에서 멀티모달 지능을 새로운 차원으로 끌어올립니다. 기업의 작업흐름을 간소화하고 최고의 정확도와 최대 9배 높은 처리량을 제공합니다.

지금 바로 SageMaker JumpStart에서 Nemotron 3 Nano Omni을 배포하여 새로운 차원의 AI 애플리케이션을 구축해 보십시오.

[1] https://aws.amazon.com/blogs/machine-learning/nvidia-nemotron-3-nano-omni-model-now-available-on-amazon-sagemaker-jumpstart/