Amazon Bedrock Knowledge Bases와 OpenSearch를 활용한 벡터 저장소 자동화 구축 가이드

Amazon Bedrock Knowledge Bases와 OpenSearch Service 통합 가이드 – 벡터 저장소로 활용하는 완전 자동화 구축 방법

생성형 AI 기반의 검색 정확도를 높이기 위한 핵심 기술로 떠오른 RAG(Retrieval-Augmented Generation)는 내외부 데이터의 고도화된 검색과 처리를 필요로 합니다. 이에 따라 AWS에서는 Amazon Bedrock Knowledge Bases를 통해 RAG를 손쉽게 구현할 수 있게 했으며, 최근 Amazon OpenSearch Service의 관리형 클러스터를 벡터 저장소로 직접 활용할 수 있도록 기능을 확장했습니다.

이 글에서는 OpenSearch Managed Cluster를 기반으로 Amazon Bedrock Knowledge Bases와의 통합 구축(Automation) 방법을 소개합니다. 관련 구성 요소 및 실제 적용 사례를 중심으로 단계별 배포 가이드와 함께 설명합니다.

OpenSearch Managed Cluster를 벡터 저장소로 선택하는 이유

Amazon OpenSearch Service는 서버리스 또는 관리형(Managed Cluster) 두 가지 옵션으로 배포가 가능하며, 각기 다른 시나리오에 최적화되어 있습니다. 특히 관리형 클러스터는 인스턴스 타입, 리소스 할당, 네트워크 토폴로지, 성능 튜닝 등 세밀한 구성 제어가 가능하기 때문에, 기업에서는 비용 및 성능 최적화가 핵심인 AI 시스템 구축에 적합합니다.

다양한 외부 벡터 저장소와 비교했을 때 다음과 같은 이점이 존재합니다:

• EC2 기반의 유연한 확장성과 커스터마이징
• 고급 검색 알고리즘 적용 및 벡터 검색의 정확도 제어
• Amazon Bedrock 업데이트와의 긴밀한 연동

Step-by-Step: Amazon Bedrock과 OpenSearch 연동 자동화 구축 방법

1단계: OpenSearch 도메인 생성

콘솔에서 관리형 클러스터로 새 도메인을 생성하고, 공개 액세스를 설정합니다. IAM 기반의 마스터 사용자 역할과 OpenSearch 내 세분화된 접근제어(FGAC)를 위한 정책도 정의해야 합니다.

2단계: Cognito를 통한 안전한 인증 설정

OpenSearch의 Dashboard 인증을 위해 Amazon Cognito User Pool과 Identity Pool을 구성하고, OpenSearch MasterRole에 접근 권한을 IAM 기반으로 Update합니다.

사용자는 이메일 기반 로그인을 통해 OpenSearch Dashboards에 안전하게 접근할 수 있습니다.

3단계: 벡터 인덱스 생성 (k-NN Index)

다음 명령을 통해 OpenSearch Dashboards의 Dev Tools에서 벡터 검색을 위한 knn_vector 인덱스를 생성합니다.

4단계: Amazon Bedrock Knowledge Base 생성 및 설정

콘솔에서 Knowledge Base 생성 시, 다음 정보를 벡터 저장소 설정에서 입력합니다:

• 도메인 ARN 및 엔드포인트
• 생성한 인덱스 이름
• 벡터 필드 (embeddings), 텍스트 필드, 메타데이터 필드 명

5단계: OpenSearch 권한 구성

Amazon Bedrock IAM 서비스 역할을 OpenSearch의 Role에 매핑하여, 인덱스 읽기/쓰기 권한을 세밀하게 적용합니다. 여기서는 다음과 같은 액세스 제어 조합이 필요합니다:

• indices:data/read/search
• indices:data/write/index
• indices:data/read/msearch 등

이제 S3의 문서를 Amazon Bedrock Knowledge Base로 동기화(Sync)하면, 인덱싱, 임베딩 생성, 메타데이터 저장까지 순차적으로 자동 실행됩니다.

결론

Amazon Bedrock Knowledge Bases에서 OpenSearch Managed Cluster를 벡터 저장소로 활용하게 되면서 더욱 강력한 RAG 기반 검색과 정보 활동이 가능해졌습니다. 이 통합은 최적의 검색 정확도를 보장하며, 유연한 배포와 자동화 구성을 지원합니다. 현재 운영 중인 클라우드나 AI 시스템에서 고성능의 벡터 검색 기능을 도입하고자 한다면, 이번 가이드는 매우 실용적인 시작점이 될 것입니다.

https://aws.amazon.com/blogs/machine-learning/amazon-bedrock-knowledge-bases-now-supports-amazon-opensearch-service-managed-cluster-as-vector-store/