Amazon Bedrock과 Coveo API로 LLM 정확도 높이는 방법

아마존 베드록과 Coveo Passage Retrieval API를 활용한 LLM 정확도 향상 방법

소개

생성형 AI의 도입이 가속화되고 있는 디지털 환경에서 대기업은 하나의 중요한 과제에 직면하고 있습니다. 바로 대규모 언어 모델(LLM)이 얼마나 신뢰할 수 있고 정확한 응답을 제공할 수 있는가입니다. LLM은 기반 데이터가 부정확할 경우, 오답을 제시하거나 일관되지 않은 결과를 생성할 위험이 있습니다. 이를 해결하기 위해 AWS 파트너사인 Coveo는 Amazon Bedrock과 연동 가능한 Passage Retrieval API를 통해 LLM 기반 애플리케이션의 신뢰성과 정확도를 최적화할 솔루션을 제시합니다.

본 포스팅에서는 Coveo의 하이브리드 인덱싱 기술을 Amazon Bedrock의 Agent 기능과 통합하여 기업 전용 콘텐츠에 기반한 자동화된 검색 및 응답 시스템 구축 방법을 설명합니다. 이를 통해 신뢰할 수 있는 정보 기반의 응답을 조율하고, 고객·직원·파트너 경험 전반의 품질을 향상시킬 수 있습니다.

본문

1. Coveo Passage Retrieval API 소개 및 핵심 구성

Coveo Passage Retrieval API는 조직 내에 집중된 데이터를 기반으로 가장 관련성 높은 텍스트 문단을 추출하여 LLM의 응답을 구체화하고 신뢰할 수 있게 만듭니다. 아래는 이 API의 핵심 프로세스를 나타낸 아키텍처 다이어그램입니다.

Coveo의 검색 처리 흐름은 두 단계로 구성됩니다:

• 1단계: Coveo의 하이브리드 검색 알고리즘이 콘텐츠 저장소에서 가장 관련 있는 문서를 식별합니다.
• 2단계: 선택된 문서 내부에서 관련성 기반으로 정렬된 텍스트 모듈(패시지)을 추출하고, 이에 출처 링크 및 메타데이터를 함께 제공합니다.

이 전체 프로세스는 질의 의도에 맞춘 정확한 정보 탐색을 가능하게 하며, 자동화된 응답 생성을 효과적으로 지원합니다.

2. Coveo와 Amazon Bedrock 통합 아키텍처

Amazon Bedrock Agents는 자연어 질의에 맞춰 관련 정보를 조율하여 정답을 생성하는 인텔리전트 코어로, Coveo Passage Retrieval API가 지정된 작업 그룹(Action Group)을 통해 해당 기능을 구현합니다. 아래는 양 시스템이 통합된 솔루션 아키텍처입니다.

이 구조는 다음과 같은 구성으로 작동합니다:

• 사용자 요청이 Amazon Bedrock Agent에 전달되면,
• Coveo API 액션 그룹이 트리거되어 AWS Lambda를 통해 API 호출을 수행합니다.
• 응답받은 관련 패시지는 최적화된 형태로 사용자에게 제시됩니다.

이 과정은 자동화되고 명확하게 정의되어 있으며, OpenAPI 명세서 기반으로 인터페이스가 구성되어 API 운영 편의성이 높고 추후 확장도 용이합니다.

3. 주요 기능 하이라이트와 활용 방안

• 하이브리드 랭킹 시스템: 벡터(시멘틱) 검색과 키워드 기반 검색을 결합하여 맥락과 정확성을 모두 보장합니다.
• 사용자 행동 기반 맞춤화: AI는 사용자의 상호작용 데이터를 실시간 학습하여 지속적으로 결과 정밀도를 향상시킵니다.
• 보안 중심 아키텍처: 엔터프라이즈 콘텐츠의 접근 권한을 인덱싱 이전에 사전 정의하여 데이터 유출 가능성을 원천 차단하고 쿼리 효율을 높입니다.
• 광범위한 연결성과 자동 동기화: SharePoint, Salesforce, Google Drive 등 다양한 시스템과의 연결을 통해 콘텐츠를 지속적으로 업데이트하고 실시간 처리에 대응합니다.

4. 실제 데모 및 테스트 방법

• Amazon CloudFormation을 통한 손쉬운 배포 자동화
• Amazon Bedrock 콘솔에서 Agent 확인 및 실시간 질의 테스트 가능
• 분석 기능을 통한 성능 피드백 확인(AWS CloudWatch 로그 활용)

5. 배포 가이드 요약

Coveo Passage Retrieval API 통합은 AWS CloudFormation 템플릿을 통해 일부 매개변수(Coveo API Key, Org ID, Search Hub)만 입력하면 자동 배포가 가능합니다. 이 과정은 LLM 인터페이스 자동화 구성이라는 점에서 뛰어난 효율성과 정확성을 보장합니다.

결론

오늘날 기업은 정확하고 신뢰할 수 있는 정보를 기반으로 생성되는 인공지능 응답을 필요로 합니다. Amazon Bedrock과 Coveo의 Passage Retrieval API를 통합함으로써 조직은 더 이상 무작위 생성 응답에 의존하지 않고, 체계적이고 검증된 지식에 기반한 결과를 제공할 수 있는 자동화된 스마트 에이전트를 구축할 수 있습니다.

본 솔루션은 검색 정확도 향상, 기존 데이터의 활용 극대화, 그리고 확장 가능한 AI 서비스 구현을 목표로 하는 조직에 최적의 기반을 제공합니다. 향후 사내 챗봇, 고객 지원 Copilot 등 다양한 AI 활용 방면에 있어 자동화 구현과 응답 정확도 향상 요소로 이 도구가 널리 사용될 것으로 예상됩니다.

https://aws.amazon.com/blogs/machine-learning/enhancing-llm-accuracy-with-coveo-passage-retrieval-on-amazon-bedrock/