Amazon SageMaker AI를 활용한 머신러닝 모델 모니터링 방법

Amazon SageMaker AI를 활용한 차별적 머신러닝 모델 모니터링

머신러닝(ML) 모델은 훈련이 완료된 직후부터 그 효과성과 정확성이 감소하기 시작합니다. 변화하는 소비자 행동, 새로운 제품 출시, 센서 기술의 업그레이드 및 경제적, 정치적 환경의 변동과 같은 다양한 요인은 모델이 훈련 중 학습한 패턴과 확률을 변화시킬 수 있는 불가피한 요소들입니다. 프로덕션 환경에 배포된 모델의 정확성과 베이스라인 통계 변화를 지속적으로 모니터링함으로써, 정확도의 감소가 문제되기 전에 개입할 수 있습니다. 이 블로그에서는 Amazon SageMaker AI와 MLflow를 활용하여 이러한 차별적 머신러닝 모델의 모니터링을 어떻게 효과적으로 구현할 수 있는지를 설명합니다.

주요 내용 및 사례

차별적 ML 모델의 품질 저하를 야기하는 요인은 크게 두 가지로 나눌 수 있습니다:

1. 데이터 드리프트: 입력 데이터의 통계적 속성 변화입니다. 상류 데이터 소스의 변화로 인해 데이터 타입이 변하거나 새로운 제품 라인이 출시되는 등의 예가 있습니다.
2. 모델 드리프트: 모델이 예측한 정확성이 시간이 지남에 따라 감소하는 현상입니다. 예를 들어, 경제 상황의 변화 때문에 소비자 행동이 변하며 발생할 수 있습니다.

이 두 가지 드리프트를 감지하고 모니터링하기 위해 Amazon SageMaker AI와 오픈 소스 Evidently Python 라이브러리를 사용하여 모델 모니터링 아키텍처를 구축할 수 있습니다. 아래 그림은 데이터 드리프트와 모델 드리프트가 머신러닝 워크플로우와 어떻게 통합되는지를 보여줍니다.

결론

기계 학습 사용 사례에서 예측의 정확성을 유지하고 최상의 결과를 얻기 위해 데이터 및 모델 모니터링 솔루션을 구현하는 것은 필수적입니다. 오픈 소스 Evidently 도구와 Amazon SageMaker AI를 결합하여 모니터링 리포트를 생성하고, MLflow에서 결과를 체계적으로 관리 및 비교하며, 파이프라인을 통해 대규모로 관리하고 드리프트 알림을 트리거하는 방법을 소개했습니다. 이를 통해 batch 예측과 실시간 엔드포인트 모두에서 적용할 수 있는 다양한 구현 사례를 제공합니다. 보다 자세한 정보는 AWS 샘플 GitHub 저장소를 확인하세요.

[1] https://aws.amazon.com/blogs/machine-learning/monitoring-discriminative-ml-models-using-amazon-sagemaker-ai-with-mlflow/