Enhancing Model Performance with Self-Distilled Reasoning

소개

인공지능(AI)과 클라우드는 최신 기술 트렌드에서 연장된 주제입니다. 최근 Amazon Nova를 사용한 감독형 미세 조정(SFT)을 위한 Self-Distilled Reasoning(SDR)에 대한 연구가 관심을 끌고 있습니다. SFT 과정에서는 훈련 데이터에 고품질의 Chain-of-Thought(CoT) 추론 흔적을 포함시키는 것이 부담스러울 수 있으며, 이로 인해 이유 없는 입력과 출력 쌍으로 모델을 훈련하게 되는 경우가 많습니다. 본 글에서는 SDR의 개념과 이를 통해 어떻게 모델 성능을 개선할 수 있는지 알아보겠습니다.

본문

모델 미세 조정 과정에서 특히 중요한 것은 Catastrophic Forgetting을 방지하면서 성능을 최적화하는 것입니다. Amazon Nova 2를 통해 제공된 SDR은 사전에 존재하지 않는 추론 흔적을 생성해 데이터셋을 보강함으로써 이러한 문제점을 해결합니다.

SDR은 Amazon Nova 2 Lite 모델에서 기초한 모델의 추론 흔적을 활용해 데이터셋을 강화하고, 이는 작업 성능을 개선하는 동시에 일반 성능을 유지하는 데 기여합니다. 모델 머징을 대안으로 고려할 수도 있지만, 모델 머징은 타겟 성능의 감소 및 일반 성능의 저하라는 양면성을 지니고 있습니다. 반면, SDR은 같은 조건에서 이들의 균형을 유지할 수 있습니다.

실험과정에서는 다양한 벤치마크 상에서 SDR의 효과가 실제적으로 입증되었습니다. 예를 들어, 수학 연산에서의 성과가 Vanilla SFT에서 6%로 떨어지는 반면, SDR을 활용한 경우에는 70%까지 성능을 회복할 수 있었습니다. 이는 SDR이 질적 추론을 간과하지 않으면서 모델의 기존 능력을 유지하고 있다는 것을 보여줍니다.

결론

Self-Distilled Reasoning은 SFT 작업에서 주목할 만한 기법으로, 데이터에 대한 인지적 역할을 수행하며 모델의 성능을 강화하고 있습니다. 국내 개발자 및 인공지능 시스템 구축자에게는 필수적인 요소로 자리매김할 가능성이 있습니다. 향후 연구와 실험을 통해 이 방법론은 계속 발전될 것이며, 무한한 가능성을 탐색해 나갈 것입니다.

[1] 원문 URL

https://aws.amazon.com/blogs/machine-learning/exploring-self-distilled-reasoning-for-supervised-fine-tuning-with-amazon-nova/