NewDay의 생성형 AI 고객센터 어시스트 구축 사례

NewDay, 생성형 AI를 활용한 고객센터 에이전트 어시스트 솔루션 개발 사례

최근 생성형 AI 기술이 기업 혁신의 열쇠로 각광받고 있습니다. 영국의 금융 서비스 기업인 NewDay는 Amazon Web Services(AWS)를 기반으로 고객센터 상담원을 지원하는 실시간 AI 어시스턴트인 NewAssist를 개발하여, 고객 응답 정확도 90% 이상의 성과를 달성했습니다. 본 포스팅에서는 NewDay가 어떻게 AWS 상에서 RAG 기반(검색 증강 생성) 솔루션을 빠르게 기획하고 구축하였는지를 살펴보며, 데이터 처리, 배포 가이드, 자동화, 사용자 경험에 기반한 고도화 등의 학습 포인트를 공유하고자 합니다.

도입 배경

NewDay는 약 400만 명의 고객에게 책임감 있는 신용 서비스를 제공하며, 연간 250만 건 이상의 고객센터 통화량을 처리하고 있습니다. 다양한 정보를 빠르게 꺼내야 하는 고객센터 환경에서 상담원이 효율적이고 정확하게 고객에게 응답할 수 있도록 도와주는 기술의 필요성이 대두되었습니다. 이에 따라, 2024년 해커톤을 통해 생성형 AI 기술을 활용한 실시간 상담지원 툴 아이디어가 제안되었고, NewAssist의 개발이 시작되었습니다.

NewAssist 주요 구성 및 기술 아키텍처

NewAssist는 Amazon Bedrock, AWS Fargate, Lambda, Cognito, OpenSearch Serverless, API Gateway 등 AWS의 서버리스 아키텍처를 기반으로 구축되었으며, RAG(Retrieval Augmented Generation) 기법을 활용해 지식 검색과 LLM 응답을 결합한 고속 응답이 가능하도록 설계되었습니다.

아키텍처의 핵심 요소는 다음과 같습니다.

• 사용자 인터페이스: Streamlit 기반 웹 UI 제공. Fargate에서 호스팅되며 Cognito + Microsoft Entra ID를 통해 SSO 로그인 제공
• 지식 베이스 처리: 위젯 기반 콘텐츠를 JSON으로 불러와 벡터로 임베딩하여 OpenSearch Serverless에 저장
• 문맥 기반 응답 생성: Claude 3 Haiku LLM을 활용해 검색된 콘텐츠 문맥에 따라 가장 관련 있는 답변 생성. 최대 응답 제한은 5초.
• 사용자 피드백 기반 변경 추적: Snowflake 및 Amazon CloudWatch를 통해 정확도, 피드백, 응답 속도 등을 분석해 지속적인 개선 실험
• 테스트 후 배포 자동화: 사전 정의된 정확도 기준 통과 시 프로덕션 환경에 배포 가능한 자동 검증 워크플로우 구현

활용 방법 및 사례

NewAssist의 초기 목표는 80% 정확도였으며, 소규모 3인의 크로스 기능 팀이 10주간 8번의 Build-Measure-Learn 실험 루프를 구현하여 60% → 80% 이상까지 향상시켰습니다. 가장 큰 정확도 향상은 데이터 처리 방식을 개선한 결과였습니다.

초기에는 일반적인 PyPDF 기반 문서 파서 사용 시 60% 수준의 정확도였으나 내부 콘텐츠 구조를 반영한 맞춤형 파서를 개발하면서 73%까지 개선되었습니다. 이후 고객센터에서 자주 사용하는 약어(dd, cst 등)를 반영하여 프롬프트에 삽입함으로써 실제 환경에서의 정확도를 다시 80% 이상으로 회복하며 실사용 테스트 준비를 완료했습니다.

실제 현업 도입 성과

3개월 내에 10명의 베테랑 상담원을 대상으로 실제 사용 환경에서 테스트한 결과, 다음과 같은 활용방식 및 최적화 요소가 발견되었습니다.

• 상담원들은 AI 답변을 고객 설명용 스크립트로 활용, 답변 속도 및 설명 품질 개선
• 약어 사용으로 인해 모델이 문맥 파악에 어려움을 겪었으며, 이를 해결하기 위해 내장 언어 사전 정적 삽입
• 사용자 행동 분석으로 새로운 콘텐츠 요구사항 및 지식베이스 보완점 다수 도출

해당 피드백을 기반으로 한 지속적 최적화로 NewAssist는 정확도 90%를 초과한 상태에서 정식 배포 승인을 받았으며, 현재 150명 이상의 상담원이 사용 중입니다. 궁극적으로는 고객센터 전 부서(Fraud, Collections 등)로 확장할 예정입니다.

비교 관점에서의 시사점과 배포 전략

NewDay의 경험은 기존에 단순 챗봇 또는 LLM을 구축해봤던 조직에게 RAG 기반 생성형 AI의 확장성과 ROI를 명확히 보여주는 좋은 선례입니다. 아키텍처 설계 시 처음부터 서버리스 전략을 채택함으로써 비용(월 $400 이하)을 절감하고, 자동화된 배포 가이드를 통해 운영 유지 보수도 최소화하는 동시에 실시간 요구사항(5초 응답 시간 내 처리)까지 충족했습니다.

이러한 접근은 다음과 같은 비교 우위를 제공합니다.

• 기존 시스템 대비 빠른 구축 및 실험 반복 – Lambda 및 API Gateway를 활용한 속도 중심 개발
• 다양한 사용 시나리오에 따른 응답 정확도 최적화 – 사용자 언어와 문맥 학습 기반 설계
• 머신러닝 자동화 환경 제공 – 실험 결과 기준의 일괄 배포 승인 프로세스 구현
• 데이터 활용 전략 중심의 성능 확보 – 콘텐츠 특성과 구조에 맞춰 커스터마이징

결론

NewAssist 프로젝트는 AWS의 서버리스 기술과 생성형 AI를 활용하여, 고객센터 상담원의 업무 효율을 획기적으로 향상시킨 대표적인 사례입니다. 단기간에 프로토타입을 제작하고, 유연한 실험 기반 자동화 전략을 활용하여 배포까지 성공적으로 완수한 것은 많은 조직이 참조할 수 있는 배포 가이드라인이자 자동화 모델 구축의 정석이라 할 수 있습니다.

앞으로 생성형 AI 도입을 고민하는 기업이라면, 데이터 품질 확보, 사용자 행동에 기반한 전략 수립, 작은 규모의 가설 실험부터 시작하는 스타일의 접근이 가장 효과적인 방법임을 시사합니다. AWS의 기술 스택(Amazon Bedrock, Lambda, OpenSearch 등)을 적재적소에 활용해 구축 비용을 줄이고 활용 효율을 극대화할 수 있습니다.

[1] https://aws.amazon.com/blogs/machine-learning/newday-builds-a-generative-ai-based-customer-service-agent-assist-with-over-90-accuracy/