아마존 SageMaker AI 비동기 추론 인라인 요청 페이로드 지원

아마존 SageMaker AI의 비동기 추론: 인라인 요청 페이로드 지원

소개
Amazon SageMaker AI의 비동기 추론이 이제 인라인 요청 페이로드를 지원하여 사용자가 인퍼런스 페이로드를 직접 InvokeEndpointAsync API의 요청 본문에 보낼 수 있게 되었습니다. 이는 인퍼런스 작업의 복잡도를 낮추고 네트워크 호출 수를 줄이며, 비동기 워크로드의 효율성을 향상시키는 데 큰 기여를 합니다. 이번 포스트에서는 이 기능의 주요 내용을 설명하고, 실제 활용 사례를 통해 변화를 살펴본 후, 시작하는 방법을 안내합니다.

본론: 주요 내용과 사례
이전까지는 매 번 인퍼런스 요청 시마다 입력 데이터를 Amazon Simple Storage Service(S3)에 업로드해야 했습니다. 하지만 새로운 인라인 페이로드 기능은 이 과정을 생략하게 해줍니다.

기존 패턴(전과 후의 고객 경험)
전통적인 방법에서는 작업 시작 전에 S3에 입력 페이로드를 업로드한 후, S3 객체의 URI를 입력 위치로 사용해야 했습니다. 이는 대규모 데이터를 처리해야 하는 경우 효율적이지만, 작은 입력 데이터를 다룰 때는 불필요한 복잡성을 초래했습니다.

진보된 방법에서는 InvokeEndpointAsync API의 새로운 Body 매개변수를 사용하는 것으로, 최대 128,000 바이트의 페이로드를 S3 업로드 없이 직접 전송할 수 있습니다. 이는 사용자 클라이언트 코드의 단순화와 운영의 효율성을 극대화합니다.

배포 가이드: 인라인 페이로드 사용 시작하기
시작하려면 AWS SDK를 최신 버전으로 업데이트하고, 기존 코드에서 S3 업로드 패턴을 API 본문의 직접 전송 패턴으로 대체하십시오. 이 업데이트는 요금 효율성, 에러 패스 감소, 및 입력 데이터가 작은 워크로드의 성능 향상에 기여합니다.

결론
Amazon SageMaker의 인라인 페이로드 지원은 비동기 인퍼런스 워크플로우의 불편을 제거하며, 대부분 128,000 바이트 이내의 인퍼런스 페이로드가 이제 단일 API 호출로 처리될 수 있게 합니다. 기존 InputLocation 워크플로우는 변화 없이 유지되며, 새로운 기능은 다양한 AWS 리전에서 사용할 수 있습니다.

[1] https://aws.amazon.com/blogs/machine-learning/amazon-sagemaker-ai-async-inference-now-supports-inline-request-payloads/