GPT-OSS-20B Multilingual Inference Model Improvement Guide Using AWS SageMaker HyperPod

AWS SageMaker HyperPod를 활용한 GPT-OSS-20B 다국어 추론 모델 개선 가이드

소개

다국어 지원이 요구되는 글로벌 프로젝트에서 AI 모델의 언어 활용은 매우 중요합니다. AWS SageMaker HyperPod를 통해 AI 모델의 성능을 개선하고자 할 때, 결국 사용자의 기대에 맞추어야 하는 것은 바로 사용자가 사용하는 언어로 모델이 효과적으로 반응하는가입니다. 본 포스트에서는 GPT-OSS-20B 모델을 중심으로 다국어 추론 능력을 개선하는 방법과 그 효과를 설명합니다.

본문

주요 내용 및 사례

GPT-OSS-20B 모델은 초기에는 영어로 생각하는 것이 가능했으나, 명령이 주어져도 프랑스어, 독일어, 스페인어, 이탈리아어를 정확히 처리하는 데에는 부족함이 있었습니다. 이 문제는 두 가지 주요 방법으로 접근할 수 있습니다: 지도된 미세 조정(SFT) 과 **그룹 상대 정책 최적화(GRPO)**입니다.

SFT와 GRPO의 활용

지도된 미세 조정은 모델의 부족한 행동을 가르치는 데 사용되며, GRPO는 이미 모델이 일부 진행할 수 있는 행동을 더욱 최적화하는 데 기여합니다. [아래 그림은 이 과정의 전반적인 데이터 흐름을 보여줍니다.]

실제 적용 사례

경험적으로, SFT를 통해 GPT-OSS-20B는 다국어 명령에서도 100%의 추론 언어 정확성을 보여주었고, GRPO는 더욱 구체적인 정답을 도출하는 데 추가적인 8%의 정확성 향상을 가져왔습니다. 이러한 결과는 다른 모델(Qwen2.5-7B)에서도 비슷하게 나타났습니다.

결론

GPT-OSS-20B의 다국어 추론 능력을 개선하기 위해 Amazon SageMaker HyperPod와 함께 하는 SFT 및 GRPO의 활용은 명확한 효과를 보였습니다. 특히 원래 모델이 전혀 할 수 없던 행동에 대해선 SFT가 필요하다는 점과, GRPO는 기본적인 행동 틀을 잡고 나서 세부적인 정답 추론에서 유의미한 개선을 제공한다는 것을 확인했습니다.

[1] 원문 링크