메뉴 닫기

Enhancing Inference Endpoint Monitoring in Amazon SageMaker AI

AWS의 혁신적인 서비스 중 하나인 Amazon SageMaker AI는 최근 인퍼런스 엔드포인트 모니터링 기능을 강화하여 성능 향상 및 비용 절감을 돕고 있습니다. 이러한 발전은 AI 엔드포인트의 성능 최적화를 통해 더 나은 사용자 경험을 제공하는데 중점을 두고 있습니다.

SageMaker AI는 기본적으로 인퍼런스 엔드포인트 상태를 모니터링하며 특정 운영 신호를 통해 잠재적 성능 향상 기회를 식별합니다. 이는 AI 최적화된 인퍼런스 추천 기능을 통해 이뤄지며, SageMaker Studio 내에서 손쉽게 접근할 수 있습니다. 모니터링은 vLLM 서빙 컨테이너 및 GPU 인스턴스를 사용하는 엔드포인트에서 기본적으로 활성화되어 있습니다. 초기 설정이 필요 없으며, 필요에 따라 옵트 아웃할 수도 있습니다.

이 시스템은 지연 시간이나 GPU 활용도, 그리고 서빙 설정을 바탕으로 여러 가지 관측 결과를 제공합니다. 예를 들어, 주간 간의 지연 시간 상승, 미사용 GPU, 최신 성능 향상 기술이 적용되지 않은 컨테이너 설정 등을 포함해 다양한 개선 가능성을 찾습니다.

이를 통해 SageMaker AI는 사용자에게 AWS Health를 통해 알림을 보내며, 제안을 벤치마크하여 비용 대비 효과가 높은 결정을 내릴 수 있게 합니다. 이러한 모든 과정에서 사용자는 벤치마크 실행 또는 성능 개선 적용 여부를 스스로 결정할 수 있어, 실제 운영 환경에 변화를 주기 전 안전하게 테스트할 수 있습니다.

세 가지 주요 시나리오를 예로 들어, SageMaker AI의 모니터링 및 추천 기능이 어떻게 작동하는지를 알아보겠습니다. 첫 번째 시나리오는 주간 간의 지연 시간 회귀 감지입니다. 기존 설정에서 지연 시간이 증가하면 AWS Health 알림을 통해 이를 보고하여, SageMaker Studio에서 대안을 테스트하고 더 나은 설정을 적용할 수 있도록 안내합니다.

두 번째 시나리오는 최적화 기술 활용입니다. 코드 자동 완성 모델을 사용하는 경우, 기존 서빙 설정에서 제안된 최적화를 활성화하지 않았을 때 이를 인식하고 알림을 통해 벤치마크 테스트를 추천합니다. 세 번째 시나리오는 GPU 사용량의 최적화로, 미사용 GPU에 대한 경고를 제공하여 비용을 절감할 수 있는 방법을 찾도록 돕습니다.

이러한 기능들은 사용자에게 큰 비용 절감과 성능 향상 가능성을 제공하며, 사용자가 데이터를 기반으로 명확한 결정을 내릴 수 있도록 합니다.

더 자세한 정보는 아래 링크를 참조하세요.
[1] https://aws.amazon.com/blogs/machine-learning/amazon-sagemaker-ai-now-detects-latency-drift-idle-gpus-and-missed-optimizations-on-your-inference-endpoints/

AI, Cloud 관련한 문의는 아래 연락처로 연락주세요!

(주)에이클라우드
이메일 : acloud@a-cloud.co.kr
회사 번호 : 02-538-3988
회사 홈페이지 : https://www.a-cloud.co.kr/
문의하기


AI, Cloud 도입 상담 배너