Customizing Large Language Models with Nova Forge SDK

Introduction

Amazon Nova 모델의 커스터마이제이션은 이전에는 복잡하고, 기술적 전문성, 인프라 설정, 시간 투자가 필요한 작업이었습니다. 이를 해결하기 위해 Amazon은 Nova Forge SDK를 출시하여 대규모 언어 모델(LLM) 커스터마이제이션을 누구나 접근 가능하도록 만들었습니다. 이 글에서는 Nova Forge SDK를 활용한 자동화된 Stack Overflow 질문의 분류 사례를 중심으로 그 활용법과 장단점을 알아보겠습니다.

Body

Nova Forge SDK를 사용하면 Amazon SageMaker AI와 Amazon Nova 간의 원활한 전환이 가능합니다. 우리는 Nova Forge SDK를 사용하여 모델을 훈련시키고, Stack Overflow 질문 데이터를 통해 그 성능을 검증해보았습니다. 이 사례를 통해 SDK의 다양한 기능과 자동화 가능성을 살펴봅니다.

사례 연구: Stack Overflow 질문의 자동 분류

1. 데이터셋 준비: Stack Overflow에서 제공하는 60,000건의 질문 데이터를 3개의 카테고리(HQ, LQ_EDIT, LQ_CLOSE)로 분류.

2. 단계별 실험:

   • Baseline 평가: 사전 훈련된 Nova 2.0 모델을 초기 데이터 세트로 평가.
   • Supervised Fine-Tuning (SFT): 도메인별 패턴 학습을 위해 SFT 적용.
   • Reinforcement Fine-Tuning (RFT): SFT 체크포인트를 기반으로 강화 학습 적용.

3. 결과:

   • EM(Exact Match) 정확도가 초기 13%에서 SFT 후 79%, RFT 적용 후 80.6%까지 향상되었습니다.

결론

Nova Forge SDK는 LLM 커스터마이제이션의 복잡성을 줄이고, 기업이 필요로 하는 맞춤형 AI 모델을 손쉽게 구축할 수 있도록 돕습니다. 이 SDK를 활용하면 기술적 장벽 없이도 조직이 자체 도메인에 특화된 모델을 개발할 수 있어, 인공지능의 실용성을 대폭 증가시킬 수 있습니다. 여러분도 Nova Forge SDK를 통해 직접 커스터마이제이션에 도전해보세요.

[1] 원문 URL: AWS Nova Forge Blog