Amazon Q로 정형과 비정형 데이터를 통합 분석하는 방법

클라우드 운영 데이터를 분석하는 데 있어 가장 큰 장벽 중 하나는 정형 데이터와 비정형 데이터의 통합처리입니다. 최근 AWS는 이 한계를 극복하기 위한 새로운 접근 방식으로, Amazon Q Business에 플러그인을 결합한 AI 기반 분석 솔루션을 발표했습니다. 이번 글에서는 RAG(Retrieval-Augmented Generation) 구조와 구조화된 데이터 쿼리를 결합하여 AWS Support 데이터를 정밀하게 분석하는 방법과 그 활용 사례를 소개합니다.

Amazon Q와 플러그인 기반 분석 아키텍처 이해하기

전통적으로 자연어 쿼리 응답을 위한 RAG 구조는 의미적 유사성 검색에 강점을 가지고 있지만, 수치 집계나 카테고리 분석 등 정밀한 수치 분석에는 한계가 존재했습니다. 아래 이미지는 기존 Amazon Q Business 구조에 플러그인 아키텍처를 결합해 구조화된 메타데이터 쿼리와 LLM(Long Language Model)을 통해 정확한 분석 결과를 제공하는 구조를 보여줍니다.

이처럼 사용자 쿼리는 플러그인을 통해 인식되고, Lambda 함수가 작동하며, Amazon Bedrock의 LLM을 통해 자연어 쿼리가 Amazon Athena SQL로 변환되어 실행됩니다. 이 결과는 기존 RAG 방식과 함께 사용자에게 제공되어 정확성과 문맥 이해를 동시에 만족시킵니다.

정형 vs 비정형 데이터 분석 비교

먼저 단순 수치 분석 예제를 살펴보겠습니다.

Query: 2025년 2월의 전체 AWS 지원 티켓 수?

RAG만으로 얻은 응답은 중복된 집계나 누락된 정보를 포함하여 190건이라는 오류가 있는 수치를 반환했습니다. 반면 구조화된 쿼리로는 정확하게 958건으로 확인돼 데이터 기반 의사결정에 더욱 적합합니다.

복잡도 높은 다차원 쿼리에도 마찬가지입니다. 예를 들어 특정 계정에 대한 서비스별 중대 이슈 발생 일자 및 발생 빈도를 분석하는 쿼리는 구조화된 데이터 기반 접근만이 정확한 응답(89개의 조합, 다수 계정에서 여러 서비스 문제 등)을 제공했습니다. 이는 단순 의미 검색만으로는 도달할 수 없는 분석 깊이를 보여줍니다.

비정형 텍스트 기반 아키텍처 분석 활용

OpenSearch와 관련된 비정형 지원 티켓 내용을 분석할 때도, RAG는 정형 메타데이터 구조와 함께 사용할 때 시너지를 발휘합니다. 예를 들어, 설정 이상, 샤드 수 초과, JVM Memory Pressure 과다, 잘못된 용량 계획 분석 등은 모두 케이스 내용을 기반으로 도출한 구조적 설계 문제 인사이트입니다.

자동화된 배포 가이드 및 구성

아래와 같이 간단한 스크립트를 통해 QSI(Amazon Q Support Insights) 솔루션을 자동 배포할 수 있습니다. 이는 AWS CloudShell이나 로컬 환경에서 CLI를 활용해 손쉽게 구성 가능합니다.

git clone https://github.com/aws-samples/support-insights-with-amazon-q.git
cd q_application
chmod +x deploy_q_stacks.sh
./deploy_q_stacks.sh

사전 필수 조건으로는 IAM Identity Center, Amazon S3 버킷 2개, Bedrock 접근 권한, 그리고 Amazon Athena 데이터베이스 등이 필요합니다.

활용 사례와 기대 효과

1. 수치 기반 정확도 강화: 기존 의미 검색의 불완전함을 제거하며, 정확한 수치를 기초로 보다 신뢰성 높은 보고서 작성 가능
2. 상황 인식 기반 대응: 지원 케이스 속성별, 계정별, 서비스별 분석으로 장애 대응 우선순위, 리스크 탐지 등에 유용
3. DevOps 자동화 요소 확대: 사건 기반 자동 수집(EventBridge), 메타데이터 기반 토픽 필터링, 람다 기반 응답 등 자동화 기술과 자연스럽게 연결

결론

Amazon Q Business에 플러그인을 통합한 이번 구조는 단순한 챗봇 수준을 넘어, AI 기반 운영 인사이트 환경을 구축할 수 있게 합니다. 특히 AWS 운영 및 DevOps 팀은 보다 구체적인 수치를 바탕으로 문제를 예측, 방지하고 실시간 대응 체계를 갖출 수 있습니다. 비정형 문서를 맥락 기반으로 탐색하고, 정형 데이터를 기반으로 분석하는 이 방식은 향후 다양한 도메인에서 확장될 수 있으며, 시스템 분석 자동화 수준을 한 단계 향상시킬 것으로 기대됩니다.

https://aws.amazon.com/blogs/machine-learning/ai-agents-unifying-structured-and-unstructured-data-transforming-support-analytics-and-beyond-with-amazon-q-plugins/