NewDay, AWS 기반 생성형 AI 고객 상담 시스템 NewAssist로 정확도 90% 이상 달성

NewDay, 생성형 AI 기반 고객 상담 솔루션 ‘NewAssist’로 정확도 90% 이상 달성

최근 금융 서비스 기업인 NewDay는 AWS의 다양한 클라우드 인프라를 활용해 생성형 AI 기반의 고객 상담 보조 시스템인 ‘NewAssist’를 성공적으로 개발 및 배포하는 데 성공하였습니다. NewAssist는 Amazon Bedrock, AWS Fargate, Amazon OpenSearch Service 등 다양한 AWS 제품을 조합해 구축된 생성형 AI(Generative AI) 기반 RAG(Retrieval Augmented Generation) 솔루션으로, 고객센터 상담 품질 향상, 응답 속도 개선, 에이전트 효율 증가라는 실질적인 효과를 달성했습니다.

이 사례를 통해 AWS 기반 생성형 AI 솔루션을 어떻게 개발하고 활용하는지, 그리고 데이터 품질의 중요성과 사용자 패턴 분석이 얼마나 개선 효과에 기여하는지를 구체적으로 살펴보겠습니다.

NewAssist 개발 배경 및 초기 접근

NewDay는 연간 250만 통의 고객 문의 전화를 처리하고 있으며, 약 200건에 달하는 내부 지식 문서를 기반으로 상담사들이 고객의 질의에 응답해야 합니다. 이를 개선하기 위해 2024년 초 개최된 해커톤을 통해 NewAssist의 아이디어가 탄생하게 되었으며, 실시간 음성 인식과 상담 보조 기능을 갖춘 생성형 AI 에이전트 개발을 목표로 삼았습니다.

NewAssist는 Amazon Bedrock을 중심으로 구현되었으며, 실시간 맥락 인식을 통해 빠르게 정확한 정보를 상담사에게 제공할 수 있도록 설계되었습니다. 하지만 초기에는 음성 인식까지 포함한 완전 자동화에는 무리가 있어, 우선 챗봇 형태의 PoC(Proof of Concept)로 범위를 축소했습니다.

초기 개발팀은 단 3명의 전문가로 구성된 소규모 팀으로 시작하여, Improvement Kata 방법론을 이용한 Build-Measure-Learn 실험 사이클을 10주간 반복하며 정확도를 60%에서 80% 이상으로 향상시켰습니다.

서버리스 인프라 기반의 구축 전략과 아키텍처 구성

NewAssist는 AWS의 서버리스 서비스를 적극적으로 활용하여 자동 확장성과 비용 효율성을 동시에 확보하였습니다.

• Amazon Bedrock: Anthropic Claude 3 Haiku 모델을 통해 LLM 기반 응답을 생성
• AWS Fargate 및 Lambda: 애플리케이션 실행과 인터페이스 호스팅
• Amazon OpenSearch Serverless: 벡터 기반 지식 검색 엔진 역할
• Amazon Cognito: 사용자 인증 및 Microsoft Entra ID 기반 SSO 제공
• Amazon API Gateway: 전체 아키텍처 간 연결 가교 역할

지식 베이스 처리 및 정확도 향상을 위한 데이터 활용 전략

특히 정확도 향상에 가장 기여한 요소는 기존 일반 파서 대신, NewDay의 콘텐츠 관리 시스템에서 제공하는 JSON 기반 위젯 스키마를 맞춤형 파서로 처리하여 벡터 변환을 수행한 것이었습니다. 이는 단순 PyPDF 파서를 사용했을 때보다 13% 가량 높은 정확도를 제공하였으며, 데이터 처리 구현 방식의 차이가 AI 성능에 큰 영향을 준다는 점을 입증하였습니다.

실 사용자 기반 실험 및 어휘 적응

PoC의 신뢰성을 확보한 뒤, NewDay는 10명의 숙련된 상담사를 대상으로 실사용 테스트를 실행했습니다. 이 과정에서 예상치 못한 문제가 드러났습니다. 상담사들이 내부 약어(dd, cst 등)를 사용하여 질의할 경우 LLM이 정확한 응답을 하지 못하는 경우가 발생했던 것입니다. 이 문제는 프롬프트에 약어 사전을 고정 삽입하는 전략을 통해 해결되어 정확도를 다시 80% 이상으로 회복하게 되었습니다.

사용자 피드백 기반 개선 및 확장

직접 현장 상담사의 피드백을 통해 RAG 솔루션의 약점을 보완하고, 응답 속도도 평균 90초에서 4초로 대폭 단축시켰습니다. 이어 150명 이상 상담사로의 확산과 함께 사기, 수금 등 기타 부서로의 확장도 계획 중입니다.

뉴데이의 학습 포인트 및 생성형 AI 운영 인사이트

이번 프로젝트를 통해 NewDay가 얻은 중요한 인사이트는 다음과 같습니다:

• 민첩한 실험 문화: 작은 팀, 반복 실험, 빠른 배포 전략
• 데이터 우선 접근: 사용자 맞춤 데이터 처리만으로도 AI 성능 향상
• 실 사용자 기반 대응 전략: 예상 외 사용 방식에 대한 유연한 대응
• 시스템 운영 자동화: 서버리스 구조를 활용하여 인프라 관리 최소화

결론: RAG 기반 AWS AI 활용이 이끄는 실질적 혁신

NewAssist의 성공은 단순한 기술 구현을 넘어, AI 기술이 실제 운영 환경에서 얼마나 강력한 가치를 제공할 수 있는지를 잘 보여주는 사례입니다. Amazon Bedrock, OpenSearch, Lambda 등 AWS의 자동화 및 서버리스 서비스 조합은 RAG 기반 솔루션을 구축하기 위한 뛰어난 기반을 제공합니다.

앞으로 이와 같은 고객 맞춤 응답형 AI 서비스가 금융, 헬스케어, 교육 등 다양한 산업에 도입될 것으로 기대되며, 구축 방법론과 활용 전략은 이미 선도기업을 통해 입증되며 확장 가능성이 높아지고 있습니다.

https://aws.amazon.com/blogs/machine-learning/newday-builds-a-generative-ai-based-customer-service-agent-assist-with-over-90-accuracy/