Amazon Bedrock의 GPT-5.6 지역 간 추론 기능 소개

Amazon Bedrock에서 OpenAI GPT-5.6 모델의 지역 간 추론

아마존 Bedrock은 이제 25개 이상의 AWS 리전에서 OpenAI GPT-5.6 모델을 지역 간 추론 기능과 함께 지원합니다. Sol, Terra, Luna라는 세 가지 GPT-5.6 변형은 비용과 성능의 균형을 맞추어 다양한 필요를 충족할 수 있도록 조정되었습니다.

지역 간 추론 (CRIS)은 추론 프로파일을 통해 이루어지며, 이 프로파일은 모델과 요청을 라우팅할 AWS 리전을 정의합니다. 각 요청은 소스 리전에서 시작하여 목적지 리전의 컴퓨팅을 사용하여 처리됩니다. 이 서비스는 한 리전의 가용 용량에 종속되지 않고 더 넓은 컴퓨팅 풀을 활용하도록 해주어, 일관된 성능을 유지하는 데 도움을 줍니다. 예를 들어, 미국 지역 내에서는 미국 동부와 서부 리전 간에 데이터를 처리할 수 있어, 데이터가 지정된 지리적 경계 내에서 처리될 수 있도록 합니다.

아래에서는 Amazon Bedrock의 GPT-5.6 모델 개요, 지역적 및 글로벌 지역 간 추론의 작동 방식, Amazon Bedrock 콘솔 및 OpenAI API를 통해 모델을 호출하는 방법에 대해 알아보겠습니다.

GPT-5.6 모델의 주요 기능

GPT-5.6 모델은 일반 목적 및 전문 사이버 보안 변형으로 구분되며, 본 포스트에서는 지역 간 추론을 지원하는 일반 목적 변형인 Sol, Terra, Luna에 대해 다룹니다. 이 모델들은 텍스트 및 이미지 인풋을 지원하며, 1백만 토큰의 컨텍스트 윈도우를 가지고 있습니다. 또한, 사유 모드, 서버 사이드 도구 호출 및 프롬프트 캐싱을 지원합니다. OpenAI Responses API, OpenAI Chat Completions API 및 Amazon Bedrock Converse API을 통해 호출할 수 있습니다.

지역적 및 글로벌 프로파일 차이점

• 지리적 추론 프로파일: 주어진 지리 내에서의 리전 간 데이터를 처리하는 데 적합합니다.
• 글로벌 추론 프로파일: 배포된 모든 상업적 AWS 리전에서 요청을 라우팅할 수 있어, 가장 넓은 용량 풀을 제공하며, 지리적 처리 요구사항이 없는 워크로드에 적합합니다.

<도식적>

사용 예로는 Amazon Bedrock 콘솔에서 'Playground' 기능을 사용하여 코딩이나 SDK 설정 없이도 즉시 프롬프트를 보내고 추론 결과를 확인할 수 있습니다.

결론

GPT-5.6 모델은 Amazon Bedrock에서 광범위한 크로스 리전 추론을 지원합니다. 지리적 요구사항에 따라 추론 처리를 지역 내에서만 유지할 수도, 상업적 AWS 리전 전체에 걸쳐 제공할 수도 있는 이점이 있습니다. API를 통해 모델을 프로그래밍 방식으로 호출하여 작업을 자동화할 수 있으며, 이러한 과정을 통해 클라우드 인프라의 효율성을 극대화할 수 있습니다.

[1] 원문 URL: https://aws.amazon.com/blogs/machine-learning/introducing-cross-region-inference-for-openai-gpt-5-6-models-on-amazon-bedrock/