CAPTCHA를 우회하는 AWS Web Bot Auth와 AgentCore Browser의 혁신적 자동화 방식

AWS AgentCore Browser와 Web Bot Auth: CAPTCHA 문제를 해결하는 새로운 접근 방식

인공지능(AI)이 발전하면서 웹 기반의 자동화 에이전트는 정보를 수집하고, 양식을 제출하거나, 데이터를 검증하는 등 다양한 업무를 수행하게 되었습니다. 하지만 대부분의 웹사이트는 자동화된 접근을 제한하기 위해 CAPTCHA, 레이트 리미트(rate limit), 접근 차단 같은 보안 기능을 적용하고 있습니다. 이로 인해 자동화된 작업흐름(agentic workflow)이 중단되거나 비효율적으로 운영되는 문제점이 지속적으로 제기되었습니다.

AWS는 이러한 문제를 해소하기 위해 Amazon Bedrock AgentCore Browser에 새로운 기능 ‘Web Bot Auth(프리뷰)’를 추가해 주목을 받고 있습니다.

AgentCore Browser와 CAPTCHA의 마찰

CAPTCHA는 사람과 봇을 구분하는 수단으로 오랫동안 사용되어 왔으며, 콘텐츠 보호, 재고 관리, 리뷰 신뢰성을 유지하기 위해 꼭 필요한 기능이었습니다. 하지만 AI 에이전트는 기본적으로 ‘봇’이며 CAPTCHA 검증을 통과할 수 없습니다. 이에 따라 사람이 중간에 개입해야 하거나, 일부 기업들은 머신비전으로 CAPTCHA를 우회하는 비용 높고 불안정한 방식을 사용해왔습니다. 또한 클라우드 환경의 IP가 유동적이라는 점, User-Agent 문자열이 손쉽게 위조될 수 있다는 점도 인증 방식의 신뢰도를 떨어뜨렸습니다.

이러한 기존 방식의 한계를 뛰어넘는 새로운 해답이 바로 Web Bot Auth 프로토콜입니다.

Web Bot Auth: 세분화된 제어와 신뢰를 바탕으로 한 암호학적 인증

Web Bot Auth는 자동화된 트래픽에 대해 암호학적으로 검증 가능한 신원을 부여하는 IETF 초안 프로토콜입니다. AgentCore Browser에서 이 기능을 활성화하면 각 AI 에이전트에 서명된 인증 정보를 부여하며, 이 정보는 WAF(Web Application Firewall)와 같은 보안 시스템에서 검증할 수 있습니다.

Cloudflare, HUMAN Security, Akamai Technologies 등 주요 보안 서비스 제공업체와 협력하여 AWS는 AgentCore 브라우저가 생성한 인증 서명을 자동 등록합니다. 이미 많은 웹 도메인이 기본적으로 인증된 봇을 허용하고 있어 별도 설정 없이도 CAPTCHA가 실질적으로 감소하는 효과를 가져올 수 있습니다.

도메인 소유자의 접근 제어 방식

Web Bot Auth는 도메인 관리자에게 세 가지 방식으로 자동화된 접근을 제어할 수 있는 권한을 제공합니다.

1. 모든 봇 차단 – 자동화 접근 자체를 금지하려는 도메인에서는 기존과 같은 방식으로 모든 봇을 차단할 수 있습니다.
2. 검증된 봇 허용 – 암호 서명으로 인증된 봇만을 허용하는 방식입니다. 기본적으로 많은 사이트들이 이 정책을 적용하고 있습니다.
3. 특정 봇에 특정 행동만 허용 – 예를 들어, 특정 금융기관의 파트너에게만 제한된 요청량과 기능을 제공하는 방식입니다.

이러한 제어 방식은 비교적 간단하면서도 보안성과 신뢰도를 유지할 수 있다는 점에서 자동화 사용 측과 도메인 소유자 모두에게 유리하게 작용합니다.

Web Bot Auth 사용 가이드

Web Bot Auth를 적용한 브라우저 툴을 생성하는 과정은 다음과 같으며, boto3 방식으로 AWS에서 제공됩니다. 설정 예시는 다음과 같습니다:

import boto3
cp_client = boto3.client('bedrock-agentcore-control')
response = cp_client.create_browser(
name="signed_browser",
description="Browser tool with Web Bot Auth enabled",
networkConfiguration={
"networkMode": "PUBLIC"
},
executionRoleArn="arn:aws:iam::123456789012:role/AgentCoreExecutionRole",
browserSigning={
"enabled": True
}
)

해당 브라우저 ID를 AI 프레임워크에 연결하면 인증이 완료된 봇으로 인식되어 CAPTCHA를 생략하고 작업을 이어갈 수 있습니다.

업계 확산과 향후 방향

Amazon은 Cloudflare 등과 협력하여 Web Bot Auth 프로토콜의 산업 표준화를 지원하고 있으며, 향후 고객 별 키 디렉터리를 발급하는 방식으로 확장할 계획입니다. 고객은 개별 도메인과 신뢰 기반의 관계를 형성하고 보다 세분화된 인증 제어 정책을 적용할 수 있게 됩니다.

결론

Amazon Bedrock AgentCore Browser는 Web Bot Auth 기능(프리뷰)을 통해 CAPTCHA로 인한 자동화 중단 문제를 해결하는 실질적 해답을 제공합니다. 암호화된 인증은 에이전트의 신뢰성과 오용 방지를 동시에 충족시키며, 도메인 소유자에게도 세밀한 제어 수단을 제공합니다.

자동화를 고민하는 기업이라면, Web Bot Auth를 활용한 AgentCore 도입을 통해 보다 효율적이며 안정적인 자동화 환경을 구축할 수 있을 것입니다.

https://aws.amazon.com/blogs/machine-learning/reduce-captchas-for-ai-agents-browsing-the-web-with-web-bot-auth-preview-in-amazon-bedrock-agentcore-browser/