Amazon SageMaker, DVC, MLflow의 강력한 조합으로 모델 추적성 향상

소개

오늘날의 머신러닝 프로젝트는 복잡성을 증가시키며 대량의 데이터와 모델을 효과적으로 관리하고 추적하는 것이 주요 과제가 되고 있습니다. 특히 규제가 엄격한 산업에서는 배포된 모델과 그에 맞는 데이터를 명확히 연결시키는 것이 중요합니다. 이 글에서는 DVC(Data Version Control), Amazon SageMaker AI, SageMaker AI MLflow App을 결합하여 데이터 및 모델의 완전한 추적성을 확보하는 방법을 설명합니다.

본문

DVC와 SageMaker AI MLflow의 시너지

DVC는 Git과 결합해 대규모 데이터셋을 효과적으로 버전 관리할 수 있게 합니다. .dvc 메타파일로 데이터를 추적하며 실제 데이터는 Amazon S3와 같은 원격 저장소에 저장됩니다. SageMaker AI MLflow App은 ML 실험의 로그, 모델레지스트리, 추적성을 제공함으로써, DVC가 차지하지 않는 영역을 보완합니다.

패턴 1: 데이터셋 수준의 추적성

데이터셋 버전 관리와 실행 추적이 완비된 DVC와 MLflow의 조합을 통해, MLflow에 기록된 commit hash를 통해 어떤 데이터 버전에서 모델이 훈련되었는지를 쉽게 추적할 수 있습니다.

패턴 2: 레코드 수준의 추적성

규제가 강한 환경에서, 개별 레코드를 추적하는 것이 중요합니다. 이를 위해 매니페스트를 사용하여 각 데이터셋의 모든 레코드를 기록하고, MLflow로 로깅함으로써 즉각적인 감사 쿼리가 가능합니다.

사용 사례 및 권장 사항

두 패턴 모두 SageMaker AI의 강력한 ML 오케스트레이션 환경에서 자동화할 수 있으며, 보안 및 규제를 고려하여 추가적인 인프라 레벨의 제어로 강화될 수 있습니다.

결론

DVC, SageMaker AI, MLflow 앱을 결합한 워크플로우는 완전한 재현성과 추적성을 제공합니다. 두 가지 패턴은 각각 데이터셋과 레코드 수준에서 추적성을 강화하며, 다양한 산업에서의 데이터 관리 및 규제 준수를 위한 최적의 접근법을 제시합니다.

[1] https://aws.amazon.com/blogs/machine-learning/end-to-end-lineage-with-dvc-and-amazon-sagemaker-ai-mlflow-apps/