Amazon SageMaker AI의 OpenAI 호환 API 지원으로 AI 모델 통합 용이

소개

최근 Amazon SageMaker AI에서 OpenAI 호환 API 지원이 추가되면서, 실시간 추론 엔드포인트를 더욱 손쉽게 활용할 수 있게 되었습니다. OpenAI SDK, LangChain, 또는 Strands Agents를 사용하던 기존 사용자도, 엔드포인트 URL만 변경하면 SageMaker AI 모델을 호출할 수 있습니다. 이제 맞춤형 클라이언트나 추가적인 코드 수정 없이도, SageMaker AI 엔드포인트에서 OpenAI 호환 응답을 받을 수 있습니다.

본문: 주요 내용 및 사례

이번 업데이트로 SageMaker AI는 /openai/v1 경로를 통해 OpenAI 호환 클라이언트의 요청과 스트리밍 응답을 처리할 수 있게 됩니다. API 매핑은 엔드포인트 이름을 기반으로 하여 자동으로 이루어져, 추가적인 라우팅 설정 없이 즉시 사용할 수 있습니다.

또한, 이 업데이트는 개별 GPU 인스턴스에서 OpenAI 호환 인터페이스를 제공하여, 자체적인 인프라에서 AI 에이전트를 활용하는 데 최적화되었습니다. 다양한 모델을 단일 SageMaker AI 엔드포인트에 호스팅하고, 각 모델은 OpenAI SDK를 사용하여 쉽게 호출할 수 있습니다. 이러한 방식은 응용 프로그램 코드 내 별도의 API 클라이언트나 라우팅 로직이 불필요하도록 합니다.

다음으로, Bearer 토큰 인증 방식을 사용하여 SageMaker AI 엔드포인트와의 안전한 통신을 지원합니다. 토큰 생성기는 AWS 자격 증명을 통해 12시간 동안 유효한 토큰을 생성하여, OpenAI SDK와 함께 사용하는 데 유리합니다.

결론

OpenAI 호환 API 지원을 통해 Amazon SageMaker AI는 AI 응용 프로그램의 인프라에 원활하게 통합되고, 보다 강력한 추론 기능을 제공합니다. 기존 코드 변경 없이도, OpenAI 호환 프레임워크를 활용하여 GPU, 스케일링, 데이터 관리 통제가 용이한 전용 엔드포인트에서 추론을 실행할 수 있습니다. 이제 Amazon SageMaker AI 현실 시간 엔드포인트를 통해 OpenAI 호환 API를 사용하여 AI 응용 프로그램을 최적화할 수 있는 환경이 조성되었습니다.

[1] https://aws.amazon.com/blogs/machine-learning/announcing-openai-compatible-api-support-for-amazon-sagemaker-ai-endpoints/