Amazon SageMaker AI 엔드포인트를 통한 추론 메타 모니터링의 중요성

소개

머신러닝(ML) 모델의 예측 품질을 추적하지 않으면, 오류가 발생할 때까지 고객 불만이나 일시적인 점검을 통해서만 알게 됩니다. 이러한 문제는 고객의 신뢰를 위태롭게 합니다. 이 글에서는 Amazon SageMaker AI 엔드포인트를 통한 추론 메타 모니터링을 소개합니다. 이 시스템은 예측 및 데이터 품질 지표를 지속적으로 추적하고, 트렌드를 시각화하는 생산 ML 인퍼런스 파이프라인 위에 제어 계층을 제공합니다. 이를 통해 예측 모델만을 위한 추론 메타 모니터링 시스템을 설계하고 구현하는 방법을 학습하게 될 것입니다. 이 시스템은 드리프트 감지, 지연된 실측 데이터 통합, 자동화된 성능 대시보드를 포함합니다.

본문

추론 모니터링의 필요성

예측 ML 모델을 개발하는 것은 자원이 소모되는 프로세스입니다. 사기 탐지, 신용 평가 또는 수요 예측과 같은 사용 사례를 위해 강력한 유효성 검사를 수행하기 위한 학습 파이프라인을 구축하는 데 몇 달을 투자해야 합니다. 배포된 모델의 성능은 조용히 저하될 수도 있으며, 팀은 몇 주 후에 이를 감지할 수 있습니다. 사기 처리 담당자는 거짓 양성이 급증하고, 대출 책임자는 이전에 플래그가 지정된 적이 있었던 더 많은 신청서를 보게 됩니다. 기업 자원 계획자는 과대 평가된 수요 예측 때문에 과잉 재고 상태가 됩니다.

따라서 ML 팀은 생산 모델의 성능에 대한 지속적인 피드백을 제공하는 시스템이 필요합니다. 모델 품질이나 데이터 드리프트가 감지될 때마다 즉시 경고를 발송하여 모델 성능이 시간이 지남에 따라 일관되게 유지되고 고객의 신뢰가 깨지지 않도록 해야 합니다.

해결책 개요

이 추론 메타 모니터링 솔루션은 AWS 관리 서비스(Amazon SageMaker AI, Amazon Athena, AWS Lambda, Amazon EventBridge, Amazon Quick)와 오픈 소스 ML 도구(SageMaker AI MLflow Apps, Evidently AI)를 결합합니다.

전제 조건

AWS 계정이 필요합니다. GitHub의 리포지토리에 제공된 클라우드포메이션(CFN) 템플릿을 사용하여 VPC, 서브넷, SageMaker AI 도메인 등을 설정할 수 있습니다.

설정

CloudFormation 템플릿이 전체 설정을 자동화합니다. 기존 도메인을 사용하려는 경우 리포지토리를 클론하고 환경 변수를 업데이트한 후 노트북을 순차적으로 실행하세요.

아키텍처

아래는 AWS에서의 통합적 학습, 배포, 추론 모니터링 및 거버넌스 단계에서의 MLOps 아키텍처의 예입니다.

결론

생산 ML 시스템은 학습에 적용하는 동일한 엄격함이 추론에도 필요합니다. 추론 메타 모니터링은 즉각적인 사건 대응을 사전 예방적 거버넌스로 전환합니다. 본 솔루션은 추가적인 관리형 모니터링 전용 서비스가 필요하지 않음을 보여줍니다. Amazon SageMaker AI로 모델 호스팅을, SageMaker AI MLflow Apps로 통합적인 실험 및 모니터링 추적을, Evidently AI로 통계적 드리프트 분석을, Amazon Quick으로 경영 대시보드를 제공하여 비용 효율적이고 이식 가능한 포괄적인 모니터링 시스템을 구축할 수 있습니다.

[1] https://aws.amazon.com/blogs/machine-learning/inference-meta-monitoring-for-amazon-sagemaker-ai-endpoints-with-amazon-quick/