AWS Qwen3 언어 모델 Amazon Bedrock과 SageMaker JumpStart에서 쉽게 활용하기

AWS Qwen3 언어 모델, 이제 Amazon Bedrock 및 SageMaker JumpStart에서 바로 활용해보세요

최근 AWS에서는 뛰어난 추론 능력과 다중 언어 지원을 갖춘 대규모 언어 모델(LLM) 패키지인 Qwen3 시리즈를 Amazon Bedrock Marketplace와 Amazon SageMaker JumpStart에서 배포 가능하도록 공개했습니다. 이를 통해 개발자와 기업은 생성형 AI 애플리케이션을 손쉽게 구축하고, 실험하고, 규모를 확장할 수 있는 방법을 제공받게 되었습니다.

Qwen3 소개 및 핵심 기능

Qwen3는 다음과 같은 강력한 기능을 제공합니다.

• 하나의 모델 내에서 '추론 모드(예: 수학, 코딩)'와 '비추론 모드(일반 대화)'를 자유롭게 전환하여 다양한 상황에 최적화된 성능을 제공
• 전작인 Qwen2.5, QwQ를 뛰어넘는 수학/코드 생성 및 상식 추론 능력
• 창의적 글쓰기, 롤플레잉, 다중 턴 대화에서 탁월한 인간 선호도 정렬
• 외부 도구와의 섬세한 통합을 통해 복잡한 에이전트 기반 작업 수행
• 100개 이상의 언어와 방언 지원을 통한 멀티링구얼 번역 및 분석 적용 가능

Qwen3는 0.6B, 4B, 8B, 32B 파라미터 크기로 이용할 수 있으며, 해당 크기에 따라 인스턴스 사양을 달리할 수 있습니다.

Amazon Bedrock에서 Qwen3 배포 가이드

Bedrock Marketplace에서 Qwen3 모델을 도입하는 방법은 다음과 같습니다.

1. Amazon Bedrock 콘솔로 이동 → 'Foundation models' → 'Model catalog'
2. 제공자(Filters)에서 Hugging Face 선택 → Qwen3-32B 모델 확인
3. 모델 설명 페이지에서 배포(Deploy) 버튼 선택
4. 엔드포인트 이름, 인스턴스 수, 인스턴스 유형(예: ml.g5-12xlarge) 구성
5. 모델 배포 후, 'Open in playground'로 Playground 인터페이스에서 실험 가능

시나리오에 따라 /no_think 명령어를 활용하면 비추론 응답만 제공받을 수 있고, Converse API를 통해 자유롭게 추론 모드 조절을 할 수 있습니다.

다음은 추론이 비활성화된 API 예시입니다.

user_message = "hello, what is 1+1 /no_think"

다음은 추론이 기본값으로 활성화된 경우의 응답 형태이며, reasoning_content 필드를 통해 Chain-of-Thought를 확인할 수 있습니다.

Invoke_Model API를 사용하면 reasoning과 도구 호출(Function Call)을 동일 응답 내에 포함시킬 수 있어 복합적인 AI반응을 구축하는 데에 적합합니다. 예: 날씨 API 호출과 추론 동시 수행.

SageMaker JumpStart에서 Qwen3 배포 및 활용

SageMaker JumpStart의 장점은 직관적인 UI 및 Python SDK 기반의 자동화된 배포와 활용입니다. 특히 Qwen3-32B는 Bedrock Ready 상태로 바로 API 호출이 적용됩니다.

UI 방식 배포

1. SageMaker 콘솔 → Studio → JumpStart
2. ‘Qwen3’ 검색 → Qwen3-32B 모델 카드 선택
3. 모델 설명 및 라이선스 검토 → 배포(Deploy) 클릭
4. 엔드포인트 이름, 인스턴스 수 및 설정 구성 후 실시간 추론 적용

Python SDK 사용법

다음은 모델 ID와 인프라 리소스를 바탕으로 Qwen3-32B를 자동으로 배포하고 추론을 수행하는 코드 예시입니다.

from sagemaker.serve.builder.model_builder import ModelBuilder
from sagemaker.jumpstart.model import ModelAccessConfig

model_builder = ModelBuilder(model="huggingface-reasoning-qwen3-32b", …)
model = model_builder.build()
predictor = model.deploy(…)

입력 데이터에 대해 다음처럼 추론 가능합니다.

sample_input = {"inputs": "Hello", "parameters": {"max_new_tokens": 64}}
prediction = predictor.predict(sample_input)

활용 방법 및 자동화 확장

Qwen3는 다양한 추론 응용, 대화 자동화, 코드 생성, 다국어 번역 등에 적합합니다. 특히 Bedrock이나 SageMaker와의 매끄러운 통합은 생산 환경 배포를 더욱 수월하게 만들어 줍니다.

비용을 관리하고자 하는 경우, 다음 명령어를 통해 불필요한 엔드포인트를 삭제할 수 있습니다.

predictor.delete_model()
predictor.delete_endpoint()

결론

Qwen3는 AWS 생태계에서 손쉽게 접근 가능한 고성능 LLM 모델로서, 다양한 생성형 AI 활용에 최적화된 도구입니다. Amazon Bedrock Marketplace와 SageMaker JumpStart를 통해 다양한 도입 경로와 사용성을 지원하며, 모드 전환, reasoning 활용, 인스턴스 비교 및 API 자동화 등에서 뛰어난 유연성을 자랑합니다.

바로 활용해 보고 싶다면 아래 링크에서 AWS Console 접속 후 Qwen3-32B 모델을 배포해 보세요.

https://aws.amazon.com/blogs/machine-learning/qwen3-family-of-reasoning-models-now-available-in-amazon-bedrock-marketplace-and-amazon-sagemaker-jumpstart/