Amazon Bedrock AgentCore로 컨텍스트 윈도우의 한계 극복하기

Amazon Bedrock AgentCore를 이용한 컨텍스트 윈도우의 한계 극복

문서 분석에서 다루어야 할 문자의 수가 수백만에 이를 때, 모델이 컨텍스트 윈도우의 한계를 넘어가는 상황에 직면하게 됩니다. 이러한 경우, 입력이 거부되거나 불완전한 정보에 기반한 결과가 출력될 수 있습니다. 이러한 문제를 해결하기 위해 Amazon Bedrock AgentCore와 Strands Agents SDK를 활용한 Recursive Language Models (RLM)의 구현을 소개합니다.

컨텍스트 윈도우의 한계를 넘어서는 이유

일반적인 금융 분석 과제를 예로 들자면, 특정 기업의 두 해 동안의 연차 보고서를 비교하는 것이 있습니다. 각 보고서는 300~500페이지에 이르고, 분석가 보고서와 SEC 파일링, 보완 자료까지 추가되면서 총 문자의 수는 수백만에 이르게 됩니다. 이렇게 긴 문서를 모델에 직접 입력하면 입력이 컨텍스트 윈도우의 한계를 넘기거나, 중간 정보가 삼각해서 없어지는 문제가 발생할 수 있습니다.

RLM과 환경으로서의 컨텍스트

재귀 언어 모델(RLM)은 문서 전체를 모델의 컨텍스트 윈도우에 입력하는 대신에 입력을 외부 환경으로 취급하여 프로그래밍적으로 상호작용합니다. 이는 Amazon Bedrock AgentCore Code Interpreter를 실행 환경으로 사용하여 구현될 수 있습니다.

이 구조는 루트 LLM이 분석을 주도하며 필요한 경우 부-LLM을 호출하여 특정 영역에 대한 의미적 작업을 수행하고, 전체 문서는 모델의 컨텍스트 윈도우에 들어가지 않는 방식을 채택합니다.

구현 및 평가

Amazon Bedrock AgentCore Code Interpreter 세션을 시작하고 문서를 샌드박스에 로드하여 시작합니다. 모델은 문서를 탐색하고, 특정 섹션에 필요할 때 llm_query()를 호출하여 의미 분석을 수행하며, 부-LLM에 결과를 전달하여 작업을 개선합니다.

실제 사례에서는 RLM이 기존의 방법보다 더 높은 성과를 보여주며, 컨텍스트 윈도우의 한계를 넘어서는 입력에 대한 성공률과 정확성을 획기적으로 향상시킵니다.

결론

Amazon Bedrock AgentCore Code Interpreter와 Strands Agents SDK를 결합하여 구현된 재귀 언어 모델은 긴 문서의 분석을 가능하게 하는 효과적인 방법입니다. RLM을 통해 더욱 확장 가능한 문서 분석이 가능해지며, 다양한 분야에서 활용될 수 있습니다.

[1] https://aws.amazon.com/blogs/machine-learning/break-the-context-window-barrier-with-amazon-bedrock-agentcore/