뉴렐릭 NOVA 사례로 살펴보는 AWS 기반 생성형 AI 자동화 전략

뉴렐릭(NOVA)이 보여주는 생성형 AI 활용의 모범 사례 – AWS를 활용한 자동화와 생산성 극대화

최근 수많은 기업들이 내부 데이터 활용과 자동화를 위한 효과적인 생성형 AI 도입 방안을 고민하고 있습니다. 이러한 고민에 대한 하나의 모범적 사례가 바로 뉴렐릭(NOVA)의 사례입니다. 뉴렐릭은 잘 알려진 통합 관측 플랫폼 제공업체로, 수많은 글로벌 브랜드들의 시스템 성능을 모니터링하며 고객 경험을 향상시키는 데 기여해왔습니다. 하지만 급격한 성장과 시스템 다변화 속에서, 회사 내부의 지식 접근성이 떨어지고, 문서 검색에 하루 이상 소요되는 등 내부 생산성 한계에 직면하게 되었습니다.

이에 따라 뉴렐릭은 AWS의 생성형 AI 서비스와 함께 조직 내 지식 활용을 자동화하고 생산성을 극대화하기 위해 'NOVA(New Relic Omnipresence Virtual Assistant)'라는 AI 기반 가상 비서를 개발하였습니다. 이번 글에서는 그 개발 배경, 아키텍처 구성, 활용 전략과 이를 통한 자동화 실현 방식까지 자세히 소개합니다.

기술 아키텍처: AWS 기반으로 확장 가능한 AI 시스템 구축

NOVA는 Amazon Bedrock, Amazon Kendra, Amazon Q Index, Amazon S3, Amazon DynamoDB 등 다양한 AWS 서비스를 결합하여 구현된 생성형 AI 기반 시스템입니다. AWS 생성형 AI 이노베이션 센터와의 협업을 통해 단 8주만에 프로토타입부터 배포 가능한 제품 수준의 솔루션으로 완성되었으며, 현재 매일 1,000건 이상의 쿼리를 처리하고 있습니다.

핵심 구성 요소는 크게 세 가지 계층으로 정리됩니다.

1. 메인 에이전트 계층: 사용자 쿼리의 의도를 파악하고, 하위 워크플로우 처리 에이전트로 분기해 다양한 업무를 자동으로 수행합니다.
2. 데이터 소스 계층: 상세 문서, 코드 저장소, 내부 기준 및 정책 문서 등에서 벡터 DB 방식으로 데이터를 수집 및 향상(RAG)하여 검색 성능을 최적화합니다.
3. 커스텀 액션 및 서드파티 연동 에이전트 계층: SalesForce, Confluence, Github, Jira, Slack 등과 인터페이스하며 트랜잭션성 요청(예: 권한 요청, 제한 수정 등)을 자동 처리합니다.

하이브리드 에이전트 구조를 도입하여 내부 업무에는 유연성과 제어력을 제공하고, 외부 서비스는 MCP 모델로 표준화하여 확장성과 성능을 확보하였습니다.

데이터 통합 전략: 다양한 형식의 지식 자산을 하나의 AI 인터페이스로 통합

NOVA가 강력한 성능을 발휘할 수 있는 중심에는 탁월한 데이터 통합 전략이 있습니다. Amazon Bedrock Knowledge Base를 통해 Confluence 문서를 동기화하고, GitHub Enterprise 저장소는 Amazon Kendra 기반으로 색인화합니다. 또한 Slack 이력은 Amazon Q Index를 기반으로 빠르게 검색이 가능하도록 구성되어 있습니다. Salesforce와 Jira 역시 커스텀 에이전트를 통해 쿼리 수준에서 자동처리됩니다.

특히 자체적인 문서 향상(Pipeline)을 통해 문서에 메타데이터, 키워드, 요약 정보를 추가함으로써 검색 정확도와 활용도를 대폭 개선하였습니다.

Amazon Nova 모델 도입: 속도와 품질을 균형 있는 방식으로 Tuning

성능과 비용 최적화를 위해 NOVA는 Amazon Bedrock을 통해 Amazon Nova Lite 모델과 Pro 모델을 혼합 사용하고 있습니다. 빠른 응답과 복잡도에 따라 모델을 동적으로 선택할 수 있는 구조를 갖추고 있으며, 코드 조정 없이도 모델 스위칭이 가능합니다. 이를 통해 20초 미만의 응답 속도를 유지하면서도 사용자 만족도를 지켜냈습니다.

고도화된 RAG 설계로 검색 정확도 극대화

RAG(Retrieval Augmented Generation)는 NOVA의 핵심이며, 다음과 같은 고급 기법을 적용하여 특화된 검색 성능을 달성하고 있습니다.

• 계층형 청킹 방식으로 문서 단위 파편화 성능 강화
• AWS Lambda 기반 문맥 보강 처리로 검색 일관성 향상
• 검색 정확도 향상을 위한 메타데이터 통합
• 코드 기반 문서는 구조 이해를 위한 특수 전처리 적용

이로 인해 어떤 포맷이나 출처에서도 정확한 지식을 컨텍스트를 유지한 상태로 제공할 수 있게 되었습니다.

운영 후 평가 체계와 사용자 피드백 기반 개선 사이클 적용

NOVA는 Amazon Bedrock 기반 LLM 평가 모델(LLM-as-a-Judge)을 활용하여 ▲ 정답도 ▲ 문맥 적합성 ▲ 응답 시간 등을 실시간으로 모니터링하며 개선합니다. 또한 Slack의 이모지 반응을 통해 받은 사용자 피드백은 New Relic의 AI 모니터링 에이전트를 통해 추적되며, AWS Glue, Athena, QuickSight를 통해 분석 데이터로 변환됩니다.

이는 지속적인 품질 향상과 자동화 모델 최적화를 가능하게 하는 선순환의 촉매가 됩니다.

향후 계획과 확장 전략

NOVA는 기존의 AI 비서형 솔루션을 뛰어넘어, S3 벡터 기능을 활용한 대규모 벡터 검색 성능 향상, 90% 비용 절감형 데이터 인프라 전환, AgentCore 기반의 보안 강화 및 Strands Agent Workflows를 기반으로 한 복합 워크플로우 자동화 기술까지 도입할 계획입니다.

이러한 전략은 높은 정확도와 신속한 응답, 다양한 시스템 간 통합, 효율적인 리소스 사용, 그리고 지속 가능한 성장 모델을 모두 만족시키는 완성형 엔터프라이즈 AI 플랫폼으로 거듭나게 해줄 것입니다.

결론: 생성형 AI 활용의 참전략을 보여주는 NOVA

이번 뉴렐릭 사례는 단순한 기술 시연을 넘어, 실제 조직의 업무 흐름에 생성형 AI를 통합했고, 검색 시간을 95% 단축시키며 가시적인 생산성 향상을 실현했다는 점에서 매우 의미가 깊습니다. 성공적인 AI 솔루션 도입을 위해서는 사용자 기반의 문제 정의, 자동화 가능한 워크플로우 선정, 기획 초기단계에서의 평가 지표 수립이 필수적으로 동반되어야 함을 보여주는 사례라 할 수 있습니다.

이처럼 AWS 생태계 내 서비스들을 조합하여 구축된 NOVA는 앞으로 AI 기반 엔터프라이즈 업무 플랫폼의 표준 모델이 될 가능성이 큽니다. 조직 내 데이터 활용을 고민하는 팀이라면, 지금이 AI 도입을 위한 첫걸음을 뗄 적기입니다.

https://aws.amazon.com/blogs/machine-learning/new-relic-transforms-productivity-with-generative-ai-on-aws/