생성형 AI로 혁신하는 기업 헬프데스크 구축 가이드

기업 헬프데스크에 혁신을 가져오는 생성형 AI 기술 도입 가이드

오늘날 기업 환경에서 헬프데스크와 고객 지원 센터의 운영 효율성은 비즈니스 경쟁력과 직결됩니다. 특히 생성형 AI 기술은 반복적인 문의 대응을 자동화하고, 기술 문제 해결 시간을 단축하며, 전반적인 고객 경험을 향상시키는 데 큰 역할을 합니다. 이 글에서는 Infosys Topaz가 Amazon Bedrock을 활용해 대규모 에너지 기업의 기술 헬프데스크를 어떻게 혁신했는지를 중심으로, 생성형 AI의 실제 활용 방법과 구축 가이드를 자세히 소개합니다.

AI 기반 헬프데스크 도입 배경 및 과제

대상 기업은 주간 약 5,000건(월 약 2만 건)에 달하는 문의 전화를 지원하는 헬프데스크를 운영하고 있었습니다. 이 가운데 대부분의 이슈는 반복적이고, 60% 이상이 10개 주요 문제 유형에 집중되어 있으며, 이로 인해 평균 통화 시간이 5분 이상 소요된다는 단점이 존재했습니다.

하지만 인력을 추가로 투입하거나 확장하는 방식은 경제적 부담이 크고 확장성이 떨어져, AI를 활용한 자동화 시스템으로의 전환이 필요했습니다.

Amazon Bedrock 기반 생성형 AI 활용 구조

Infosys Topaz는 Amazon Bedrock을 활용해 통화 기록의 실시간 분석, 자동 분류, 요약, 지식베이스 구축, 그리고 기술지원 에이전트용 가상 어시스턴트를 구축했습니다. 전체 데이터 흐름과 구성 요소는 아래 이미지와 같습니다.

지식베이스 구축 자동화: 데이터 흐름

1. 고객과 상담원의 통화 녹취 데이터는 JSON 형식으로 Amazon S3에 저장됩니다.
2. 해당 데이터는 CSV로 변환 및 전처리되며, Claude Sonnet 기반 대형언어모델(LLM)을 통해 요약 및 필터링이 이루어집니다.
3. 의미 있는 대화는 Amazon OpenSearch Serverless의 벡터 DB에 임베딩되어 저장되고, 관련 없는 대화는 별도 보관됩니다.
4. 이 과정 전체는 AWS Lambda 및 Step Functions를 통한 이벤트 기반 파이프라인으로 자동화됩니다.

대표적인 모델 응용: RAG 기반 LLM 파이프라인

RAG(Retrieval Augmented Generation)는 효과적인 답변 생성을 위해 임베딩된 데이터를 검색 후 활용하는 방식이며, 다음의 주요 기법이 활용되었습니다.

• Amazon Titan Text Embeddings 모델을 이용한 고성능 임베딩 생성
• 토큰 수 기준 Chunking(1000개 기준), 오버랩 처리(150–200 범위)
• ‘문장 윈도우’ 기반 검색 정확도 향상
• 자연어 프롬프트 확장을 통한 검색 성능 개선

권한 관리와 보안 고려사항

기업 시스템에서 민감 정보의 처리는 필수입니다. Infosys는 Atlas 구조에서 다음의 단계를 통해 보안성과 권한 관리를 강화했습니다.

• AWS IAM 역할 기반 접근 제어 설정 (관리자, 기술 분석가, 기술 지원 요원)
• S3 버킷 및 DynamoDB에 대한 AES-256 기반 암호화, AWS KMS 이용
• API 키 및 DB 비밀번호는 AWS Secrets Manager로 관리
• 통신은 TLS 1.2로 전 구간 암호화

전체 시스템은 AWS CloudTrail을 통해 권한 접근 로그를 주기적으로 모니터링하며, 각 사용자에게 허용된 콘텐츠만 접근 가능하도록 OpenSearch 컬렉션 단위로 구성되어 있습니다.

웹 UI 및 실시간 분석 기능

기술 헬프데스크의 상담원은 사용자 별 권한에 맞춰 정보를 조회하거나 검색할 수 있으며, Streamlit을 통해 다음과 같은 웹 인터페이스를 제공합니다.

• 대화 영역: 헬프데스크 AI와 대화 및 피드백(좋아요/싫어요)
• FAQ 영역: 가장 많이 검색된 질문 TOP5 자동 노출
• 메트릭 대시보드: 사용자 검색 수, 유용한 응답 수, 미응답 수 등 실시간 통계 제공

성능 최적화를 위한 캐시 관리 기술

Streamlit의 st.cache_data() 기능을 활용해 자주 사용하는 응답 데이터를 메모리에 저장하며, 일정 주기로 이 데이터를 자동 갱신하게 구현했습니다. 이를 통해 FAQ 검색 속도를 향상시키고 사용자 만족도를 높였습니다.

도입 효과 및 실적

AI 기반 헬프데스크 도입 후 6개월 동안의 성과는 다음과 같습니다.

• 평균 통화 처리 시간: 5분 이상 → 2분 이하로 60% 감소
• GPT 기반 가상 에이전트가 전체 통화의 70% 대응
• 지식베이스 확장을 통해 인간 개입이 필요한 케이스도 20%로 감소
• 고객 만족도 30% 향상 (설문 기준)

결론: 자동화 헬프데스크 도입이 가져올 변화

이번 사용 사례를 통해 볼 때, 생성형 AI는 단지 기술적인 혁신을 넘어서 실질적인 비용 절감과 고객 경험 개선을 동시에 가능하게 합니다. 특히 Amazon Bedrock은 AWS의 다양한 서비스와의 통합 구성 및 자동화에 이상적인 플랫폼으로, 신규 프로젝트나 기존 시스템 리팩토링을 계획하고 있는 기업에 강력히 추천할 수 있습니다.

비즈니스 요구에 맞는 AI 헬프데스크 솔루션을 구축하고자 한다면, 지금이 바로 시작할 적기입니다.

https://aws.amazon.com/blogs/machine-learning/how-infosys-topaz-leverages-amazon-bedrock-to-transform-technical-help-desk-operations/