Amazon SageMaker JumpStart에서 NVIDIA Nemotron 3 Nano 30B 모델 활용 가이드

아마존 SageMaker JumpStart에서 NVIDIA Nemotron 3 Nano 30B 모델 활용하기

최근 AWS는 Amazon SageMaker JumpStart를 통해 NVIDIA의 차세대 생성형 AI 모델, Nemotron 3 Nano 30B를 공식적으로 출시했습니다. 이 모델은 고도화된 에이전트 작업, 코딩, 과학적 추론 등에 뛰어난 성능을 자랑하며, 중소규모 언어 모델 중에서도 최고의 활용성과 정확도를 제공합니다. 이번 글에서는 Nemotron 3 Nano 30B 모델의 주요 특징과 활용 방법, 실전 배포 가이드를 중심으로 소개합니다.

Nemotron 3 Nano 30B 모델의 주요 특징

Nemotron 3 Nano 30B는 하이브리드 Transformer-Mamba 아키텍처 기반으로 설계된 MoE(Mixture of Experts) 모델이며, 다음과 같은 기술적 장점을 가지고 있습니다.

• 30억 개의 활성 파라미터를 포함한 300억(30B) 파라미터 규모의 언어 모델
• 텍스트 기반 입력 및 출력 지원
• 최대 1,000,000 토큰의 컨텍스트 윈도우 지원
• 코딩, 수학, 과학적 추론 등 고난이도 문제 해결에 특화
• SWE Bench Verified, AIME 2025, GPQA Diamond, IFBench 등 여러 벤치마크에서 선도적 성능

Amazon SageMaker JumpStart에서의 활용 방법

Nemotron 3 Nano 모델은 Amazon SageMaker JumpStart 환경에서 손쉽게 배포 및 테스트할 수 있습니다. 개발자는 SageMaker Studio 내에서 모델을 검색 및 선택하고, 클릭 한 번으로 엔드포인트에 모델을 배포할 수 있습니다.

1. SageMaker Studio 접속 후 ‘Models’ → 'NVIDIA Nemotron 3 Nano 30B’ 검색
2. 모델 세부 정보 페이지에서 ‘Deploy’ 클릭
3. 배포가 완료되면 추론 요청을 API 또는 SDK로 전송하여 테스트 가능

CLI 활용 예시

AWS CLI로 간단한 JSON 입력을 이용해 모델에 질문을 보내고 응답을 받을 수 있습니다. 다음은 실제 CLI 사용 예시입니다.

cat > input.json << EOF
{
"model": "nvidia/nemotron-3-nano",
"messages": [
{
"role": "system", "content": "You are a helpful assistant."
},
{
"role": "user", "content": "What is NVIDIA? Answer in 2-3 sentences."
}],
"max_tokens": 512,
"temperature": 0.2,
"stream": False,
"chat_template_kwargs": {"enable_thinking": False}
}
EOF

aws sagemaker-runtime invoke-endpoint
–endpoint-name ${ENDPOINT_NAME}
–region ${AWS_REGION}
–content-type 'application/json'
–body fileb://input.json \

response.json

Python SDK 활용 예시

개발자는 SageMaker SDK 또는 Boto3 라이브러리를 활용하여 API 호출 자동화 및 추론 기능을 자체 서비스에 통합할 수 있습니다. 이는 대규모 자동화 환경 구현에도 유리합니다.

payload = {
"messages": [{"role": "user", "content": prompt}],
"max_tokens": 1000
}
response = runtime_client.invoke_endpoint(
EndpointName=endpoint_name,
ContentType='application/json',
Body=json.dumps(payload)
)

response_body = response['Body'].read().decode('utf-8')
result = json.loads(response_body)

Nemotron 3 Nano의 장점과 활용도 비교

기존의 언어 모델들이 단순 대화형 지능이나 범용 처리를 제공해 왔다면, Nemotron 3 Nano는 고급 추론 성능과 높은 정확도를 목표로 MoE 구조를 채택해 새로운 수준의 성능을 제시합니다. 특히 SageMaker의 JumpStart 서비스와 결합하여, 사전 구축된 배포 환경을 통해 신속한 모델 테스트 및 프로덕션 배포가 가능합니다. 이를 통해 개발자는 더 높은 속도와 효율성으로 생성형 AI 앱을 자동화하여 구축할 수 있습니다.

결론

NVIDIA의 Nemotron 3 Nano 30B 모델은 AI 인프라와 자동화된 서비스 통합에 최적화된 차세대 생성형 AI 모델이며, SageMaker JumpStart의 관리형 환경을 통해 즉시 활용할 수 있습니다. 이제 복잡한 모델 구축 과정을 걱정하지 않고, 실질적인 AI 기능을 빠르게 배포하여 활용할 수 있는 환경이 마련되었습니다. 특히 개발 생산성을 높이고자 하는 조직이나 고급 자동화 응용이 필요한 프로젝트에 적합합니다.

지금 SageMaker JumpStart를 통해 Nemotron 3 Nano의 새로운 가능성을 경험해보세요.

https://aws.amazon.com/blogs/machine-learning/nvidia-nemotron-3-nano-30b-is-now-available-in-amazon-sagemaker-jumpstart/