Amazon Bedrock AgentCore JSON 워크로드에서 토큰 비용과 지연 시간 줄이기
기업이 여러 도구와 큰 구조적 입력을 사용하여 에이전트를 구축함에 따라 토큰 소비와 지연 시간은 사용자 경험에 주요한 걸림돌이 됩니다. 특히 이러한 에이전트들이 대규모 JSON 데이터를 처리할 때, 각 도구 호출은 컨텍스트 창에 전체 페이로드를 주입하여 토큰 사용과 응답 지연 시간을 증가시킵니다. 이를 통해 비용이 증가하고 응답 품질이 저하됩니다. 이러한 문제를 해결하기 위해 AWS는 Amazon Bedrock AgentCore를 사용하여 컨텍스트 창의 압력을 효과적으로 관리하기 위한 전략을 제공합니다.
주요 내용 및 사례
Flightscape를 위한 솔루션 개요
Flightscape는 항공사 운영 플랫폼으로 항공사의 직원, 비행기, 운영을 계획하고 관리하는 데 도움을 줍니다. 이 시스템의 일부인 훈련 일정 최적화 에이전트는 대규모 JSON 입력을 다루며, 평균 요청 지연이 15초를 초과하였습니다. 이 문제는 AWS가 제공하는 Amazon Bedrock AgentCore를 통해 해결되었습니다.
최적화 전략
- 가벼운 세션 상태 유지를 통한 무거운 아티팩트의 오프로드: 무거운 데이터는 Amazon S3에 저장되고, 에이전트의 메모리는 가벼운 참조만을 유지합니다.
- 대형 결과 목록의 필요에 따른 페이지 처리: 툴 결과가 크면 전체 목록을 전달하는 대신 요약본과 핸들만을 반환하여 토큰 사용을 절감하였습니다.
- 딕셔너리 출력의 압축: 대형 딕셔너리 출력은 구조적 요약을 사용하여 토큰 사용량을 줄였습니다.
이러한 최적화로 동작 전후의 비교에서 토큰 소비가 71% 감소하였고, 평균 지연 시간이 80% 이상 개선되었습니다.

결론
Amazon Bedrock AgentCore를 통해 에이전트가 대규모 JSON 데이터를 보다 효율적으로 처리할 수 있게 되었습니다. 활용 가이드를 통해 최대한의 효과를 얻으려면 무거운 아티팩트를 S3에 오프로드한 후, 필요한 경우 페이징과 압축을 추가로 적용하세요. 더 자세한 정보는 AWS의 공식 문서를 참고하세요.
AI, Cloud 관련한 문의는 아래 연락처로 연락주세요!
(주)에이클라우드
이메일 : acloud@a-cloud.co.kr
회사 번호 : 02-538-3988
회사 홈페이지 : https://www.a-cloud.co.kr/
문의하기
