아마존 Nova 모델 데이터 믹싱 미세 조정 가이드

아마존 Nova 모델을 위한 데이터 믹싱을 통한 미세 조정 가이드

아마존 Nova Forge SDK를 활용하여 Nova 모델을 미세 조정하는 방법을 안내하는 이번 포스트에서는 데이터 준비부터 데이터 믹싱을 통한 학습, 그리고 평가까지 모든 단계를 포함한 가이드를 제공합니다. 이 핸즈온 가이드는 여러분이 직접 응용할 수 있는 반복 가능한 플레이북을 제시합니다. 이 포스트는 Nova Forge SDK 시리즈의 두 번째 파트로서, 첫 번째 포스트에서는 사용자화 실험을 시작하는 방법에 대해 다룬 바 있습니다.

이번 포스트의 초점은 데이터 믹싱에 있습니다. 데이터 믹싱은 모델의 일반적 능력을 희생시키지 않으면서 도메인별 데이터를 통해 미세 조정할 수 있는 기법입니다. 이전 포스트에서는 이 방법의 중요성을 설명하였고, 고객 데이터를 아마존의 큐레이션 데이터셋과 혼합하여 기본적인 Massive Multitask Language Understanding (MMLU) 점수를 유지하면서도 '고객의 소리' 분류 작업에서 12포인트 F1 점수 개선을 달성한 사례를 공유했습니다.

솔루션 개요

워크플로우는 다음과 같은 다섯 단계를 포함합니다:

1. 환경 설정 – Nova Forge SDK 설치 및 AWS 자원 구성
2. 데이터 준비 – 학습 데이터를 로드하고, 정제하고, 변환하고, 검증 및 분할
3. 학습 구성 – Amazon SageMaker HyperPod 런타임, MLflow 추적, 데이터 혼합 비율 설정
4. 모델 학습 – Low-Rank Adaptation (LoRA)을 활용한 감독된 미세 조정 작업 시작 및 모니터링
5. 모델 평가 – 미세 조정된 체크포인트에 대해 공용 벤치마크 및 도메인별 평가 수행

사례 적용

기본적으로 Nova Forge SDK와 함께 제공되는 JSONLDatasetLoader를 사용하여 데이터 구조를 Nova 모델이 기대하는 형식으로 변환해야 합니다. 변환 후에는 미세 조정을 위한 Nova의 채팅 템플릿 형식이 됩니다.

결론적으로, 데이터 믹싱 기술을 활용하여 모델을 미세 조정하는 것은 생산에 대한 실질적 방법론을 제공합니다. 커스터마이즈와 일반 지능 사이에서 선택할 필요 없이 두 가지를 모두 얻을 수 있습니다. 중요한 것은 이 프로세스를 반복적인 과정으로 보고, 학습, 평가, 믹싱 조정, 반복을 통해 최적의 균형을 찾는 것입니다.

[1] https://aws.amazon.com/blogs/machine-learning/nova-forge-sdk-series-part-2-practical-guide-to-fine-tune-nova-models-using-data-mixing-capabilities/