뉴데이의 고객센터에 생성형 AI 도입으로 90% 정확도 달성한 사례

뉴데이(NewDay)의 90% 정확도를 달성한 AI 고객지원 시스템 구축 사례: AWS 기반 생성형 AI 활용 가이드

고객 서비스 고도화를 위한 생성형 AI 적용은 더 이상 먼 미래의 이야기만은 아닙니다. 금융 서비스 기업인 뉴데이(NewDay)는 AWS의 생성형 AI 서비스인 Amazon Bedrock을 기반으로 실제 고객 상담을 지원하는 AI 챗봇 ‘NewAssist’를 성공적으로 구축했습니다. 이 글에서는 뉴데이가 겪은 실전 도입 과정을 살펴보고 어떻게 맞춤형 챗봇을 설계하고 배포하였는지, 그로 인해 어떤 성과를 거뒀는지 구체적으로 소개합니다. 생성형 AI 도입을 고민 중인 기업에게 자동화와 비용 최적화, 고도화를 위한 실무적인 인사이트를 제공합니다.

NewAssist의 배경과 도입 초기 과제

뉴데이는 약 400만 명의 고객에게 책임감 있는 신용 서비스를 제공하는 회사로, 연 250만 건 이상의 전화 상담을 담당하는 고객 센터를 운영하고 있습니다. 단일 고객 문의에 대해 상담원이 다루는 지식 문서만 200건에 달하는 복잡한 환경 속에서, 상담원의 효율성과 정확성을 동시에 높이기 위해 생성형 AI 도입을 모색했습니다.

해결해야 할 주요 과제는 다음과 같았습니다:

• 기존 레거시 인프라의 실험 한계
• AI 기술에 대한 임원진의 확신 부족
• 제한된 리소스와 전략 우선 순위 충돌

이러한 문제를 해소하기 위해 뉴데이 팀은 초기 대화형 음성 AI 구축 계획을 축소하고 챗봇 기반 POC(Proof of Concept)를 먼저 구현하는 방식으로 전략을 전환했습니다. 고객 문의에 신속하고 일관된 답변을 제공하기 위한 ‘단일 진실의 출처(single source of truth)’ 확보에 집중하면서 실현 가능성과 관련 기술의 검증을 목표로 삼았습니다.

NewAssist의 기술 아키텍처와 구성 요소

NewAssist는 Amazon Bedrock 기반의 RAG (Retrieval Augmented Generation) 구조를 채택했으며, 서버리스 방식으로 설계된 인프라 환경에서 운영됩니다. 주요 구성은 다음과 같습니다:

• 사용자 인터페이스: Streamlit으로 구축된 웹 기반 AI 어시스턴트. Fargate를 통해 UI를 호스팅하고 인증은 Amazon Cognito와 Microsoft Entra ID 연동으로 SSO를 지원합니다.
• 지식 베이스 처리: 외부 CMS에서 API를 통해 문서를 가져온 후 위젯 단위로 JSON으로 분할. 이를 벡터 임베딩으로 변환하여 OpenSearch Serverless에 저장합니다.
• 응답 생성: UI에서 받은 질문은 관련 벡터 데이터를 Claude 3 Haiku 모델로 전달하여 문맥 기반 응답을 생성합니다.
• 모니터링 시스템: Snowflake 기반 대시보드에서 정확도 검증과 피드백 모니터링. Amazon CloudWatch를 통해 로그 추적.
• 오프라인 평가 환경: 새 버전은 배포 전 실제 평가 데이터셋을 활용해 정확도를 검증함으로써 신뢰성을 확보합니다.

정확도 향상과 데이터 전처리의 중요성

POC 초기에는 60% 미만의 정확도를 기록했지만, 반복적인 실험과 데이터 처리 전략의 개선을 통해 80% 이상으로 향상됐습니다.

특히 ‘맞춤형 파서’를 구현하여 일반적인 PDF 파싱 도구(PyPDF) 대신 고객센터에서 사용하는 CMS 위젯 구조를 정확히 이해하고 추출할 수 있도록 개선한 것이 정확도 13% 상승의 핵심 요인이었습니다. 가공된 고품질 데이터를 토대로 AI 모델의 응답 품질도 자연스럽게 향상되었습니다.

실 사용자 기반 테스트와 피드백 시스템

3개월 만에 10명 고객 상담 직원을 대상으로 실사용 테스트를 진행한 결과, 실제 사용자 행동은 기술 팀의 예상과 다르게 나타났습니다. 에이전트들은 ‘dd(자동이체)’, ‘cst(고객)’ 같은 약어를 자주 사용했고, 이에 Claude 3 모델이 문맥을 이해하지 못해 초기 정확도는 70%대로 하락했습니다. 이에 대한 해결책으로 모델 프롬프트에 사전에 약어 목록을 삽입함으로써 다시 정확도 80%를 회복했습니다.

더불어 고객 응대 시 기술적인 내용을 쉽게 설명할 수 있는 방식으로 질문하는 활용 케이스가 자연스럽게 증가했고, 이는 상담 품질 향상으로 이어졌습니다.

확장 배포와 실제 비즈니스 성과

10명의 파일럿 테스트 결과 NewAssist는 평균 응답 소요 시간을 90초에서 4초로 단축시키는 성과를 보였고, 정확도는 90% 이상으로 향상되어 뉴데이 경영진의 승인을 받고 정식 론칭에 성공했습니다. 현재 150명 상담원이 해당 챗봇을 사용 중이며, 향후 사기방지, 채권추심 등 다른 고객지원 부서로의 확장을 계획 중입니다.

NewAssist 성공의 주요 전략 요소

이 AI 도입 프로젝트는 다음과 같은 핵심 전략을 기반으로 성공을 거두었습니다:

• 반복 실험 문화: 개선 카타(Improvement Kata) 및 Build-Measure-Learn 사이클을 통해 민첩한 실험 및 개선 수행
• 서버리스 아키텍처 도입: Fargate, Lambda, API Gateway를 통해 인프라 자동화 및 비용 절감
• 데이터 품질에 집중: 정형화된 JSON 기반 파싱과 벡터화로 AI 응답 성능 개선
• 실제 사용자 행동 기반 개선: 실사용 데이터를 기반으로 약어, 내부 용어 등을 반영한 자동화 프롬프트 개선 및 피드백 반영

결론

생성형 AI의 실제 활용 사례인 NewAssist는 단순한 기술 도입을 넘어 기업 운영의 효율성과 고객 경험을 동시에 개선하는 뛰어난 사례입니다. Amazon Bedrock, AWS Fargate, OpenSearch Serverless 같은 AWS 서버리스 서비스 활용은 도입 초기 리소스 부담을 줄이고, 빠른 실험과 반복 개발이 가능한 환경을 조성하는 데 큰 기여를 했습니다.

향후 생성형 AI를 고객센터, 상담 업무, 내부 문서 자동화 등에 도입하고자 하는 기업이라면, 뉴데이의 접근 방식—소규모 POC, 사용자 피드백 기반 개선, 데이터 전처리 자동화—을 우선 검토하길 바랍니다.

https://aws.amazon.com/blogs/machine-learning/newday-builds-a-generative-ai-based-customer-service-agent-assist-with-over-90-accuracy/