Amazon SageMaker AI와 MLflow v3.10로 생성 AI 개발을 간소화하기

소개

Amazon SageMaker AI는 인공지능(AI) 개발을 위한 강력한 플랫폼으로 자리매김하고 있습니다. 최근 MLflow v3.10 업데이트를 통해 생성 AI 개발을 더욱 효율적으로 하고, 실험 추적을 간소화하는 기능이 추가되었습니다. 이번 포스트에서는 새로운 MLflow v3.10의 기능을 소개하고, SageMaker AI에서 어떻게 활용할 수 있는지 살펴보겠습니다.

본문

MLflow v3.10의 새로운 기능

MLflow 3.10은 복잡한 멀티 턴 워크플로우를 위한 추적 기능 강화와 여러 인기 있는 LLM 프레임워크 및 라이브러리와의 통합, 그리고 생성 AI의 상호작용 및 호출을 위한 로깅 기능 개선이 특징입니다. 특히 mlflow.genai.evaluation() API는 생성 AI의 품질을 개발에서 생산까지 체계적으로 측정하고 유지할 수 있는 프로그램 인터페이스를 제공합니다. 이 API는 관련성, 충실성, 정확성, 안전성 등의 빌트인 메트릭을 통해 SageMaker AI 워크플로우와 통합됩니다.

관찰성 개선에는 추적 필터링 및 검색의 세분화, 디버깅과 근본 원인 분석을 위한 풍부한 메타데이터 캡처 기능이 포함되어 있습니다. 사전 구성된 성능 대시보드는 지연 시간 분포, 요청 수, 품질 점수, 토큰 사용량 등의 워크로드 수치들을 한눈에 보여줍니다.

이러한 개선 사항들은 SageMaker AI와 결합하여, 기업 등급의 생성 AI 인프라스트럭처를 제공하며, 실험을 추적하고, 성능을 모니터링하며, AI 애플리케이션 전반에 걸친 관리를 용이하게 합니다.

SageMaker AI MLflow App v3.10 시작하기

SageMaker Studio 콘솔이나 AWS CLI, API를 통해 SageMaker AI MLflow App을 쉽게 생성할 수 있습니다. 기본 설정은 MLflow 3.10을 자동으로 제공합니다.

AI 실험을 추적하기 위해 MLflow와 AWS SageMaker MLflow 플러그인을 설치해야 합니다. 이를 통해 SageMaker AI MLflow Apps과 직접 연결하여 실험, 파라미터, 모델을 로깅할 수 있습니다.

import mlflow
mlflow_app_arn = "<your-mlflow-app-arn>"
mlflow.set_tracking_uri(mlflow_app_arn)
mlflow.set_experiment("your_genai_experiment")

사용 사례

기존에 사용 중인 MLflow Tracking Server나 App을 새롭게 업데이트된 3.10 App으로 마이그레이션 가능합니다. 이를 통해 사용자들은 더욱 강화된 기능의 혜택을 누릴 수 있습니다.

결론

Amazon SageMaker AI MLflow Apps의 MLflow v3.10 도입은 기업의 AI 개발을 더욱 효율적이고 관리 가능하게 만듭니다. SageMaker AI Studio를 방문하여 첫 MLflow App을 생성해보세요.

[1] https://aws.amazon.com/blogs/machine-learning/streamlining-generative-ai-development-with-mlflow-v3-10-on-amazon-sagemaker-ai/