Amazon SageMaker AI와 MLflow 연동으로 효율적인 베치마크 및 추천 관리

Amazon SageMaker AI와 MLflow의 연동을 통해 효율적인 베치마크 및 추천 결과 관리하기

소개

인공지능(AI) 모델을 최적화하고 배치하는 과정은 단순한 일이 아닙니다. 수많은 GPU 인스턴스 유형, 컨테이너, 병렬화 전략, 최적화 기술 등을 평가하는 데 많은 시간이 소요될 수 있습니다. 이와 같은 복잡성을 해결하기 위해 아마존 SageMaker AI의 활용 및 자동화된 최적화 권장 기술을 소개합니다. 이번 포스트에서는 새롭게 추가된 MLflow 통합 기능을 통해, 베치마크와 추천 결과를 하나의 장소에서 스트리밍하고 모든 실험을 트래킹하는 방법을 설명합니다.

본문

최근 아마존 SageMaker AI는 MLflow 통합 기능을 추가하여, 다양한 AI 베치마크 및 추천 결과를 단일 인터페이스에서 실시간으로 트래킹할 수 있도록 향상되었습니다. 이렇게 함으로써 데이터 사일로를 제거하고, 반복 주기를 가속화하며, 모든 베치마크 및 추천 최적화 작업흐름에서 완전한 재현성을 제공합니다.

주요 내용 및 사례
MLflow 통합 기능을 사용하여 Amazon SageMaker AI의 최적화된 추론 권장 작업과 AI 베치마크 작업을 통해 실험 데이터를 자동으로 스트리밍하는 방법을 배워보겠습니다.

솔루션 개요

이번 릴리스를 통해 최적화된 추론 권장 작업 또는 베치마크 작업을 제출하면, 아마존 SageMaker AI는 선택한 SageMaker MLflow 앱으로 결과를 자동 스트리밍합니다. 여러 작업을 동일한 MLflow 실험에 제출하고, MLflow 실험 뷰에서 나란히 비교할 수 있습니다.

아래 다이어그램은 베치마크 및 추천 작업 결과를 SageMaker MLflow 앱에 스트리밍하는 설정 방법을 보여줍니다.

시작하기
MLflow 앱을 설정하고, AWS 계정에서 Amazon SageMaker Studio를 엽니다. 다음으로 MLflow를 선택하고 'Create MLflow App'을 선택하세요. MLflow 앱에 필요한 권한을 실행 역할에 추가하고, 베치마크 또는 추천 작업을 생성 시 MlflowConfig를 전달하세요.

이 구현의 장점

• 수동 데이터 통합 제거: MLflow 통합 덕분에 여러 작업에서 베치마크와 추천 결과가 동일한 실험명 아래 자동으로 통합됩니다.
• 실시간 모니터링 가능: 베치마크와 추천 결과가 실시간으로 MLflow UI에 스트리밍되므로, 상태를 즉시 파악할 수 있습니다.
• 완전한 감사 추적 유지: 각 실험 실행은 작업의 매개 변수, 타임스탬프, 체크포인트의 메트릭 및 결과물을 캡처합니다.

기술적 실행 예시: Qwen 모델을 사용하는 고객 사례
일반적인 워크플로우 속에서, 고객은 Qwen/Qwen2-0.5B-Instruct 모델을 Amazon SageMaker AI의 실시간 엔드포인트로 배포했습니다. 이들은 가벼운 챗봇 일에 대한 성능을 측정하고, 긴 프롬프트 및 응답을 대상으로 한 더 큰 작업 부담에 대한 최적 구성 방법을 식별합니다. 이 평가의 재현성을 위해, 두 작업은 동일한 SageMaker MLflow 실험에 데이터를 기록합니다.

필수 전제조건
Amazon SageMaker Studio 설정, SageMaker MLflow 앱 생성, 오픈AI 호환 모델 실행, 필요 IAM 역할 부여 등 필수 전제조건을 따라야 합니다.

결론
Amazon SageMaker AI의 MLflow 통합으로 SageMaker AI의 베치마크 및 추천 작업의 실험 결과를 보다 쉽게 트래킹하고 이해할 수 있습니다. 결과를 익숙한 트래킹 인터페이스로 직접 스트리밍함으로써 수동 작업의 오버헤드를 줄이고, 전산 비용을 절감하는 실시간 모니터링을 제공합니다. 다음 베치마크 작업부터 MlflowConfig를 추가하여, MLflow에서 생성된 실행을 열고 다양한 구성에서의 지표를 비교하세요.

[1] https://aws.amazon.com/blogs/machine-learning/streaming-benchmark-and-recommendation-results-to-mlflow-with-amazon-sagemaker-ai/