NewDay, 생성형 AI 도입으로 고객 응대 정확도 90% 이상 달성

뉴데이(NewDay), 생성형 AI 기반 고객 서비스 에이전트를 통해 90% 이상의 정확도로 응대 자동화 달성

소개

금융 서비스 기업인 뉴데이(NewDay)는 약 400만 고객을 대상으로 신용을 제공하며, 연간 250만 건 이상의 고객 응대 전화를 처리합니다. 이 많은 양의 문의에 대해 빠르고 정확한 응답을 제공하기 위해, 뉴데이는 생성형 AI 도입을 고려하였고, Amazon Bedrock 기반의 ‘NewAssist’라는 솔루션을 개발했습니다.

이 글에서는 NewDay가 고객 센터 자동화에 생성형 AI를 어떻게 활용했는지, 단계별 개선 과정을 통해 어떤 성과를 이뤘는지, 그리고 실제 구축 가이드 및 배포 전략은 어땠는지를 설명합니다. 특히 실 서비스 환경에서의 활용 방법과 데이터 품질 관리, 서버리스 인프라 도입, 사용자 경험을 기반으로 한 피드백 자동화 시스템 등 다양한 활용 사례를 접할 수 있습니다.

본론

1. 시작점과 초기 과제

NewAssist는 내부 해커톤을 통해 아이디어가 발굴된 이후 본격 개발되기 시작했습니다. 초기에 목표는 음성을 텍스트로 전환하고, 실시간 응답을 제공하는 음성 기반 AI 도우미였지만, 기술적 한계와 인프라 부족으로 인해 규모를 줄여 챗봇 형태로 출발했습니다. 초기 단계에서는 100개 이상의 질문-답변 골든 데이터를 활용해 정확도 80% 달성을 목표로 하는 프로토타입을 완성했습니다.

2. 서버리스 인프라와 자동화 중심의 설계

NewAssist는 구축과 운영 모두 자동화를 극대화하는 서버리스 구조로 설계되었습니다. 주요 구성 요소는 다음과 같습니다.

• Amazon Bedrock: 생성형 AI 모델 호출 (Claude 3 Haiku 활용)
• AWS Lambda, API Gateway: 요청 처리 자동화
• Amazon Fargate: UI 호스팅
• Amazon Cognito: 사용자 인증
• Amazon OpenSearch Serverless: 벡터 DB 저장소

이 인프라 구성은 월 $400 이하 비용으로 운영 가능하며, 서로 다른 AWS 서비스 간 유기적 연동을 통해 확장성과 응답 시간을 모두 확보했습니다.

3. 데이터 중심 설계와 정확도 향상 전략

NewDay는 단순히 PyPDF로 문서를 파싱하는 초기 방식에서 벗어나, 자사의 고객 지식 데이터 구조(위젯 기반 JSON 스키마)를 분석하여 맞춤형 파서(parser)를 개발했습니다. 이 커스텀 데이터 처리 로직은 데이터 품질을 획기적으로 개선하면서 정확도를 60%에서 73%까지 상승시키는 주요 요인이 되었습니다.

또한, 검색 기반 생성(RAG: Retrieval Augmented Generation) 구조를 채택해, 질문의 키워드를 기반으로 가장 관련성 높은 문서를 검색하고 이를 바탕으로 적절한 답변을 생성합니다.

4. 사용자 테스트와 실전 대응

NewAssist는 10명의 고객센터 에이전트를 대상으로 첫 실전 테스트를 진행했습니다. 이 과정에서 예상치 못한 문제가 발견되었는데, 에이전트들은 약어(예: dd = direct debit, cst = customer)를 활용해 질문을 했고, LLM은 이를 제대로 이해하지 못함에 따라 정답률은 70% 이하로 떨어졌습니다.

이에 대응해, 약어와 내부 용어를 프롬프트에 강제로 주입(statically inject)하는 방식으로 LLM의 이해도를 개선했습니다. 이 같은 사용 기반 튜닝 후 다시 정답률은 80% 이상으로 회복되었습니다.

5. 정식 배포 및 효과

실제 서비스에 투입되기 전, NewAssist는 오프라인 테스트를 거쳐 정확도 기준을 만족하면 배포 가능하도록 설계되었습니다. 초기 10명의 베타 사용자 이후, 150명 이상의 에이전트에게 배포가 확산되었고, 추후 고객 운영 조직 전체(사기, 채권 추심 등)로 확장될 예정입니다.

도입 전 90초 걸리던 답변 응대 시간이 4초로 단축되었으며, 사용자 피드백 기반 개선 루프를 통해 NewAssist는 응답 품질을 지속적으로 개선하고 있습니다.

결론

NewAssist 사례는 AWS의 서버리스 기반 플랫폼을 활용하여 빠르게 아이디어를 프로토타입으로 구현하고, 실전 테스트를 통해 사용자 기반의 정교화를 거쳐 실제 배포까지 이어진 생성형 AI 성공 스토리입니다.

이 사례를 통해 우리가 얻을 수 있는 인사이트는 다음과 같습니다.

• how: AWS Bedrock, Lambda, OpenSearch Serverless 등으로 빠르게 생성형 AI 활용 가능
• 활용: 고객 지원 자동화, 응대 시간 단축, 내부 용어 학습 등 다양한 활용 사례
• 배포 가이드: 증분식 실전 투입 전, 오프라인 평가지표 기준 도입
• 비교: 기존 검색 솔루션 대비 문맥 기반 응대 성능 우수
• 자동화: 지식베이스 수집부터 사용자 피드백 분석까지 전 과정 자동화

앞으로 NewDay는 더욱 고도화된 LLM 통합, 멀티 도메인 확장, 실시간 피드백 기반 실험 자동화 등을 통해, AI 활용의 깊이를 넓혀갈 계획입니다. 기업 내 AI 전략 수립 시, 해당 사례를 우수 구축 기준으로 삼아보는 것도 좋은 출발점이 될 것입니다.

[1] https://aws.amazon.com/blogs/machine-learning/newday-builds-a-generative-ai-based-customer-service-agent-assist-with-over-90-accuracy/