Amazon SageMaker JumpStart에서 OpenAI GPT OSS 모델 쉽게 활용하는 방법

아마존 SageMaker JumpStart에서 OpenAI GPT OSS 모델 활용하기

2025년 8월, AWS는 OpenAI의 새로운 GPT OSS 오픈소스 모델(gpt-oss-120b 및 gpt-oss-20b)을 Amazon SageMaker JumpStart에서 사용할 수 있도록 지원하기 시작했습니다. 이 글에서는 GPT OSS 모델의 주요 기능과 SageMaker JumpStart를 활용한 배포, 실습 예제 및 자동화 활용 가이드를 중심으로 소개합니다.

GPT OSS 모델이란?

OpenAI가 공개한 GPT OSS 모델은 사이언티픽 분석, 코드 생성, 수학적 추론 등 고급 Reasoning(추론) 능력을 갖춘 최첨단 생성형 AI 모델입니다. 주요 특징은 다음과 같습니다:

• 모델 크기: gpt-oss-120b, gpt-oss-20b 두 가지 버전 제공
• 컨텍스트 창: 최대 128K 토큰
• 추론 강도 조절: low, medium, high 설정 가능
• 외부 도구 연동 지원 및 agentic workflows 대응 (Strands Agents 프레임워크 포함)
• 체인-오브-생각(chain-of-thought) 방식으로 상세한 모델 추론 경로 제공
• OpenAI SDK 및 EXA API(의미기반 웹 검색)와 통합 가능

이러한 기술적 강점을 통해 GPT OSS 모델은 다양한 엔터프라이즈 레벨의 생성 AI use case를 자동화하고, 쉽게 배포 및 커스터마이제이션할 수 있는 유연성을 제공합니다.

SageMaker JumpStart란?

Amazon SageMaker JumpStart는 사전 학습된 다양한 Foundation Model(FM)을 손쉽게 탐색하고 빠르게 배포할 수 있도록 돕는 관리형 ML 서비스입니다. 이를 통해 콘텐츠 생성, 질문 응답, 분류, 요약, 코드 생성 등 다양한 작업에 적합한 모델을 활용할 수 있으며, AWS MLOps 기능(Amazon SageMaker Pipelines, Debugger 등)과도 원활히 통합할 수 있습니다.

배포 가이드: GPT-OSS-120b UI로 배포하는 방법

1. SageMaker Studio 콘솔 접속 후 JumpStart 선택
2. 검색창에 "gpt-oss-120b" 입력
3. 모델 카드 클릭 후 모델 세부 정보 확인
4. "Deploy" 버튼 클릭 후 엔드포인트 이름, 인스턴스 수, 인스턴스 타입(p5.48xlarge 권장) 설정 후 배포 진행

Python SDK를 통한 자동화 배포 방법

1. JumpStartModel 객체를 통해 모델 정의
2. 옵션: Network Isolation 설정, EXA API Key 환경 변수 포함 가능
3. .deploy(accept_eula=True) 호출로 모델·엔드포인트 자동 생성 가능

예시 코드:
from sagemaker.jumpstart.model import JumpStartModel

model = JumpStartModel(
model_id="openai-reasoning-gpt-oss-120b",
enable_network_isolation=False,
env={
"EXA_API_KEY": ""
}
)

predictor = model.deploy(accept_eula=True)

추론(inference) 테스트는 다음과 같이 진행 가능합니다:
payload = {
"model": "/opt/ml/model",
"input": [
{"role": "system", "content": "You are a good AI assistant"},
{"role": "user", "content": "Hello, how is it going?"}
],
"max_output_tokens": 200,
"stream": "false",
"temperature": 0.7,
"top_p": 1
}

response = predictor.predict(payload)
print(response['output'][-1]['content'][0]['text'])

추론 결과:
“Hey there! All good on my end—just ready to dive into whatever you need. How’s it going on your side?”

Function Calling 및 Harmony 포맷 활용

GPT OSS 모델은 OpenAI의 Responses API와 유사한 harmony 포맷을 지원하며, 이 구조를 통해 구조화된 함수 호출 및 AI 서비스 통합이 가능합니다. 예를 들어 get_current_weather 함수 타입 정의와 함께 대상 위치의 날씨 확인 요청을 구성할 수 있습니다.

모델 정리 및 자동 삭제

모델 사용 종료 후 다음 메서드로 리소스를 정리할 수 있습니다:
predictor.delete_model()
predictor.delete_endpoint()

이는 비용을 방지하는 데 필수적으로 권장되는 자동화 항목입니다.

결론

OpenAI GPT OSS 모델은 AWS SageMaker JumpStart를 통해 손쉽게 활용 가능하며, 현재의 생성형 AI 도입 과제를 혁신적으로 해결할 수 있는 강력한 방법입니다. 고성능 reasoning 작업, 코드 및 과학적 분석 등에서 활용도 높고, Python SDK 연동성을 통해 자동화 및 확장성도 확보할 수 있습니다.

지금 SageMaker JumpStart를 통해 GPT OSS 모델 도입을 시작해 보세요.

https://aws.amazon.com/blogs/machine-learning/gpt-oss-models-from-openai-are-now-available-on-sagemaker-jumpstart/