글로벌 고객 지원의 자동화 및 스케일링을 위한 RAG 기반 챗봇 구축

소개

오늘날 글로벌 고객 지원의 자동화와 스케일링은 매우 중요한 과제가 되었습니다. 특히, 여러 지역을 대상으로 하는 지원 시스템은 단순한 번역을 넘어서는 도전을 필요로 합니다. 여기에 한 가지 해결책으로 아마존의 홈 시큐리티 자회사 링(Ring)은 아마존 베드록 지식 베이스(Amazon Bedrock Knowledge Bases)를 활용한 RAG(모델 기반 회수 생성) 기반의 지원 챗봇 시스템을 구축하였습니다. 이를 통해 각국에 대한 개별적인 인프라 배치를 제거하고, 10곳의 국제 지역에서 일관성 있는 고객 경험을 유지하면서 비용을 21% 절감할 수 있었습니다.

주요 내용 및 사례

아키텍처 개요

링은 두 가지 핵심 프로세스로 콘텐츠 관리를 분리한 RAG 기반 챗봇 아키텍처를 설계하였습니다 : 인제스천(자료수집) & 평가 워크플로우와 승진 워크플로우. 이를 통해 링은 지속적인 콘텐츠 개선을 유지하면서도 안정적인 생산 시스템을 유지할 수 있었습니다.

콘텐츠 인제스천 및 평가 워크플로우

1. 콘텐츠 업로드: 링의 콘텐츠 팀은 아마존 S3에 지원 문서와 제품 정보를 업로드합니다.
2. 콘텐츠 처리: 아마존 S3 버킷 이벤트 알림을 통해 람다(Lambda) 함수가 자동으로 업로드된 콘텐츠를 처리합니다.
3. 데이터 복사 및 지식 베이스 생성: AWS 스텝 함수(Step Functions)는 매일 워크플로우를 조절하며, 콘텐츠와 메타데이터를 복사하고, 새로운 지식 베이스를 생성합니다.
4. 일일 평가 프로세스: 평가 데이터셋을 사용하여 각 버전의 성능을 비교하고 성과를 대시보드로 게시합니다.
5. 품질 검증 및 골든 데이터셋 생성: 빅데이터 모델을 이용해 각 버전의 메트릭을 평가하고, 최고의 성과를 보이는 버전을 골든 데이터 소스로 승진시킵니다.

고객 대상 승진 워크플로우

고객 상호 작용 단계에서, 챗봇은 람다를 통해 관련 콘텐츠를 검색하고, 본래의 고객 질의와 결합하여 매력적인 답변을 생성합니다.

기타 고려사항

릴리와 같은 RAG 기반 시스템을 구축할 때는 다음과 같은 측면을 고려할 필요가 있습니다:

• 벡터 저장소: Amazon OpenSearch 등의 다양한 옵션이 있으며, 각자의 복잡성, 비용 등 운영 요구사항을 평가하여 선택합니다.
• 버전 관리 아키텍처: 별도의 데이터 소스를 활용하여 유연한 데이터 관리가 가능합니다.
• 디제스터 리커버리: 안전성을 위해 멀티 리전 배치를 고려합니다.
• 모델 처리량: 크로스-리전 추론을 활용하여 처리량을 증가시킬 수 있습니다.

결론

이 게시물에서는 링이 RAG 기반의 지원 챗봇을 구축하기 위해 아마존 베드록 지식 베이스를 사용하는 방법을 살펴보았습니다. 또한, 아키텍처 설계에 필요한 몇 가지 중요 고려 사항들을 제공하였습니다. 이를 통해 많은 팀들이 다지역 및 고가용성 RAG 시스템을 구축하는 데 필요한 방향성을 제공받을 수 있을 것입니다.

[1] https://aws.amazon.com/blogs/machine-learning/how-ring-scales-global-customer-support-with-amazon-bedrock-knowledge-bases/