아마존 노바와 rDPO 기술을 통한 선택적 잊기 및 활용 전략

아마존 노바를 활용한 선택적 잊기와 rDPO 기술 적용: 자동화 및 활용 전략

오늘날 기업들은 AI와 클라우드 기술로 인해 혁신을 이루고 있지만, 여전히 모델 구축과 운영에 있어서 다양한 도전 과제에 직면하고 있습니다. 특히, 기본 모델이 보안이나 민감한 콘텐츠를 방지하기 위한 안전 장치로 인해 실제 필요한 콘텐츠까지 거부할 때, 이러한 문제는 더욱 심각해집니다. 아마존 노바는 특정 정책 영역에서의 모델 동작을 조정하기 위해 선택적 잊기 기술을 도입하여 이러한 문제를 해결하고 있습니다. 본 포스트에서는 아마존 노바의 rDPO(Reverse Direct Preference Optimization) 기법을 중심으로, 모델 커스터마이제이션 및 활용 방안을 소개하겠습니다.

아마존 노바와 CCMS의 구조

아마존 노바는 사용자가 콘텐츠 조정 설정을 맞춤화할 수 있도록 하는 플랫폼입니다. 특히, 안전, 민감 콘텐츠, 공정성, 보안 등 네 가지 책임 있는 AI(RAI) 기둥을 중심으로 정책을 조정할 수 있습니다. 이는 모델의 학습된 행위를 제거하거나 수정하기 위해 LoRA(저순위 적응) 어댑터를 사용하여 이루어집니다. 이러한 맞춤형 모델은 아마존 노바의 기본 정책을 준수하면서도 고객의 특정 필요를 충족하도록 조정됩니다.

rDPO: 혁신적 접근 방식

기존의 NPO(Negative Preference Optimization)은 모델이 특정 정책 영역에서의 긍정적 샘플을 잊도록 설계 되었으나, 이는 모델의 전반적인 성능 저하를 유발할 수 있었습니다. 반면, rDPO는 DPO(Direct Preference Optimization)의 선호도 쌍을 반전시켜 모델이 고품질의 응답을 생성하도록 동시에 유도합니다. 이는 훈련 효율성을 높이고, 맞춤형 어댑터를 빠르게 생성할 수 있도록 합니다.

기술 적용 사례와 성과

rDPO를 사용한 맞춤 모델은 다양한 평가 지표에서 높은 성능 향상을 보였습니다. 특히 RAI 정책 카테고리 전반에서 거부율 감소를 달성하였으며, 일반 모델 능력에서의 성능 저하는 2% 이하로 미미했습니다. 이러한 고품질의 맞춤 모델은 불필요한 콘텐츠 방어를 최소화하고, 고객의 비즈니스 목적에 기반한 효과적인 활용을 보장합니다.

결론

아마존 노바와 rDPO 기술은 선택적 잊기의 최전선에서 고객의 요구에 맞는 고품질 AI 솔루션을 제공하고 있습니다. 이 기술은 빠르게 변화하는 AI 환경에서 기업이 더 안전하고 효과적으로 AI를 활용하도록 지원하며, 아마존 노바의 책임 있는 AI 사용을 보장합니다. 자세한 활용 가이드는 아마존의 다양한 자료를 통해 확인하실 수 있으며, 추가적인 지원이 필요하시면 담당 AWS 계정 팀에 문의해 주시기 바랍니다.

[1] https://aws.amazon.com/blogs/machine-learning/teaching-models-to-forget-selective-unlearning-with-amazon-nova/