Multi-Turn Reinforcement Learning 활용 사례 및 사용 방법

오늘은 Multi-Turn Reinforcement Learning(MTRL)을 활용한 Amazon SageMaker AI 및 AgentCore의 사용 방법과 사례를 살펴보겠습니다. 복잡한 에이전트 기반 작업에서 MTRL이 어떻게 도움을 줄 수 있는지, 실제 예시인 단어 게임 Wordle을 통해 알아보겠습니다.

소개

많은 AI 방식은 단일 질문에 대한 정확한 답변을 도출해내도록 설계됩니다. 그러나 에이전트 기반 작업은 각 단계가 이전 단계를 바탕으로 이루어지며, 정답이 명확하지 않은 것이 일반적입니다. MTRL은 이런 시퀀스를 통해 에이전트의 학습을 지원합니다. 이 글에서는 Amazon SageMaker AI와 Amazon Bedrock AgentCore를 이용해 MTRL을 수행하는 방법을 살펴봅니다.

본문

Amazon SageMaker AI는 MTRL을 통해 에이전트를 훈련시킵니다. 여기서 에이전트는 Amazon Bedrock AgentCore나 Amazon EKS 등 자체 인프라에서 호스팅될 수 있으며, AWS Lambda로 변환자를 통해 수신하여 정책 모델을 호출합니다. 예시는 Wordle이라는 게임을 사용합니다.

워들 게임은 플레이어가 숨겨진 단어를 맞추는 게임으로, MTRL 학습의 규칙이 적고 피드백에 따라 추측이 이루어져 최적의 사례로 선정되었습니다.

<img src="https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/10/12/ML-22014-1.png" alt="SageMaker AI와 AgentCore 간의 MTRL 연결 다이어그램">

MTRL의 작동 방식은 의도된 결과를 중심으로 학습이 이루어진다는 점에서 일반적인 강화 학습과 차별됩니다. 에이전트가 안정적이게 되면 내부 도구나 워크플로우에서도 작은 모델을 사용해 비용 효율적이게 운영할 수 있습니다.

또한 MTRL은 다음과 같은 특징을 지니고 있습니다:

• 에이전트는 한 파일 내에 존재하며, 하나의 Python 파일로 환경, 도구, 점수 기능을 포함합니다.
• 데이터셋은 단어 추측이라는 간단한 후보 군만 제공합니다.
• '결과 주도형'이라는 보상 구조를 채택하여, 추론 과정이 아니라 최종 결과로 보상을 제공합니다.

<img src="https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/10/12/ML-22014-4.png" alt="훈련 곡선: 게임당 평균 보상과 검증 해결 비율">

실제 운영에서는 서비스에서 초커리 밸로그에 따라 설정을 조정할 수 있습니다. 이 방법은 특히 초기 모델이 다양한 에이전트 작업을 수행할 수 있게 도와줄 수 있습니다.

결론

Amazon SageMaker AI의 MTRL은 복잡한 에이전트 기반 작업에서 이상적인 선택입니다. 구조적인 학습 접근 방식을 통해 내부 프로세스를 더 효과적으로 구현할 수 있습니다. 만약 여러분의 업무에서 정해진 답을 찾기 어려운 과업이 있다면, MTRL을 통해 에이전트를 튜닝해보는 것을 추천합니다.

[1] https://aws.amazon.com/blogs/machine-learning/multi-turn-reinforcement-learning-on-amazon-sagemaker-ai-a-hands-on-guide/