아마존 노바 포지의 초매개변수 최적화 예술과 과학

아마존 노바 포지의 초매개변수 최적화 예술과 과학

대규모 언어 모델(LLM)은 일반 작업에서는 강력한 성능을 발휘할 수 있지만, 전용 데이터를 이해하거나 도메인 특유의 용어를 사용하는 등의 특수화된 작업에서는 어려움을 겪을 수 있습니다. 이를 해결하기 위해 Amazon Nova Forge는 Amazon Nova를 이용해 독자적인 최전선 모델을 구축할 수 있는 기능을 제공합니다. 초기 모델 체크포인트에서 개발을 시작하고, 사유 데이터와 Amazon Nova에서 큐레이션한 학습 데이터를 결합하여 AWS에서 맞춤형 모델을 안전하게 호스팅할 수 있습니다. 이 기능의 핵심은 데이터 믹싱으로, 이는 도메인을 충분히 흡수하면서도 일반적인 추론과 지시 따르기, 언어 능력을 유지시켜 줍니다. 이 과정을 통해 도메인 맞춤화 과정에서의 치명적 망각을 방지할 수 있습니다.

성공적인 맞춤화를 위해서는 세심한 초매개변수 튜닝이 필요합니다. 학습률, 데이터 믹싱 비율, 체크포인트 선택 및 학습 기법 등이 잘못 설정될 경우, 전체 학습이 실패로 끝날 수 있습니다. 이 글에서는 Amazon Nova Forge에서 초매개변수 튜닝의 예술(전략적 트레이드 오프)과 과학(지표 기반의 의사 결정)을 다루어 불필요한 비용을 발생시키는 실패한 학습을 피할 수 있도록 도와드립니다.

도메인 맞춤화와 초매개변수 튜닝의 도전과제

도메인 맞춤화는 하나의 도메인에서 성능을 향상시키면서 일반적인 모델 성능을 저하시키지 않도록 하는 것을 의미하며, 이를 달성하는 것은 생각보다 어렵습니다. Amazon Nova Forge의 초매개변수 튜닝은 특히 다음과 같은 세 가지 도전 과제에서 더 어려움을 겪습니다:

1. 치명적 망각: 도메인 특화 데이터로 모델을 학습시키면, 일반적인 기능이나 기존에 학습한 정보가 손상될 수 있습니다. 이러한 현상은 특정 도메인에 대한 높은 전문성을 가질 수는 있지만, 모호한 요청에 대한 대응이나 논리적 추론 능력 등의 일반적인 역량이 저하될 수 있습니다. 이를 해결하기 위해 Amazon Nova Forge는 데이터 믹싱 기능을 통하여 도메인 데이터를 큐레이션된 데이터와 결합하여 학습합니다. 또한, 체크포인트 선택 기능을 통해 기존의 정렬을 얼마나 유지할 것인지를 결정할 수 있습니다.

2. 적절한 학습률 찾기: 학습률은 모델의 가중치가 학습에 대한 반응으로 얼마나 변할지를 결정합니다. 각 커스터마이징 방법을 통해 가장 민감한 초매개변수이며, 잘못 설정된 경우 모델 안정성이 크게 떨어질 수 있습니다. Amazon Nova Forge는 이러한 상호작용을 고려한 서비스 기본값을 제공하며, 데이터 믹싱과 조합했을 때는 기본 제공 학습률에서 벗어나지 않는 것을 권장합니다.

3. 기준 성능 제약: 강화 학습 튜닝(RFT)은 여러 후보 응답을 생성하고 선택 기준에 따라 점수를 매김으로써 모델의 행동을 개선하는 기법입니다. 이 기법은 기초 임무 정확도가 특정 범위 내에 있을 때 최대 효율을 발휘합니다. Nova Forge 파이프라인은 저 기준 시나리오에서는 지도학습 튜닝(SFT)을 통해 강화 학습이 가능하도록 기초적인 능력을 먼저 구축하고, 높은 기준 정확도에서는 강화 학습의 선정 기능이 모델 품질을 평가하는 데 들어가도록 합니다.

Nova Forge 맞춤화 파이프라인은 위의 도전 과제를 해결하기 위해 설계되었습니다. 이 플랫폼은 도메인 지식을 확장하는 CPT, 지정된 동작을 가르치는 SFT, 그리고 성능을 최적화하는 RFT의 세 가지 기법을 제공합니다. 모든 단계가 적용 가능한 경우 파이프라인 전체(CPT, SFT, RFT)는 가장 강력한 결과를 제공합니다.

결론

Amazon Nova Forge를 사용한 모델 맞춤화를 최적화하기 위해서는 예술과 과학의 균형이 필요합니다. 적절한 데이터 믹싱 전략과 체크포인트 선정이 높은 성과를 결정짓게 됩니다. 데이터와 보상의 질은 그 어떤 초매개변수보다 다루기 중요하므로, 학습 파라미터를 조정하기 전에 데이터 파이프라인과 보상 기능을 최적화해야 합니다. 서비스 기본값 설정을 시작점으로 삼고, 학습률과 데이터 믹싱에도 꼭 준수해야 합니다.

[1] https://aws.amazon.com/blogs/machine-learning/the-art-and-science-of-hyperparameter-optimization-on-amazon-nova-forge/