새로운 검색 에이전트의 혁신 Amazon SageMaker AI의 다중 회기 강화 학습 활용

새로운 검색 에이전트의 혁신: Amazon SageMaker AI의 다중 회기 강화 학습 활용

소개
최근 몇 년간 검색 에이전트는 정보 검색 방식을 혁신적으로 변화시키고 있습니다. 낮은 쿼리 품질에도 불구하고 사용자가 원하는 정보를 효과적으로 발견할 수 있도록 합니다. 이와 같은 성과는 Amazon SageMaker AI의 다중 회기 강화 학습(Multi-Turn Reinforcement Learning, MTRL)을 통해 가능합니다. MTRL은 검색 에이전트를 다중 회기 상황에서 훈련할 수 있도록 하여, 검색 전략을 개선하고 정확한 정보를 제공하는 데 필수적인 요소입니다.

핵심 내용 및 사례
Amazon SageMaker AI의 MTRL은 검색 에이전트가 다중 회기 상호작용을 통해 정보를 수집하고 통합하는 과정을 최적화합니다. 에이전트는 연속적인 의사 결정을 통해 최상의 검색 결과를 제공하며, 이 과정에서 얻어진 모든 정보를 활용합니다.

Amazon SageMaker AI MTRL은 다음과 같은 주요 기능을 제공합니다:

1. 모듈형 에이전트-환경 인터페이스: 적은 코드로 통합할 수 있으며, 맞춤형 보상과 도구 루프, 다중 회기 대화 형식을 정의할 수 있습니다.
2. 서버리스 실행: GPU 클러스터를 관리할 필요 없이, 토큰별 과금 제도로 대규모 에이전트 강화 학습(Agentic RL)을 실행할 수 있습니다.
3. 비동기 롤아웃 및 궤적 수집: 생성과 그래디언트 업데이트가 병행되어 신속하고 정책의 일관성을 유지할 수 있도록 합니다.
4. 네이티브 알고리즘 라이브러리: 여러 알고리즘을 지원하며, 정확한 평가 기준에 따라 최적화 가능합니다.
5. 훈련 재개: 장기간의 훈련 작업을 여러 작업에 걸쳐 분할하고 이어서 진행할 수 있습니다.
6. 궤적 및 보상 관찰성: MLflow를 통해 훈련 과정을 턴 단위로 확인하여 에이전트가 학습한 내용을 확인할 수 있습니다.

결론
Amazon SageMaker AI에 기반한 MTRL을 이용해 검색 에이전트를 개선한 경험을 공유했습니다. 최소한의 설정으로도 검색 품질과 신뢰성을 현저하게 개선할 수 있었으며, 이는 서버리스 인프라를 활용하고 직접적인 최적화를 통해 더 빠른 인사이트를 얻도록 했습니다.

[1] https://aws.amazon.com/blogs/machine-learning/fine-tune-a-search-agent-with-multi-turn-rl-on-amazon-sagemaker-ai/