Amazon Bedrock과 Nova Pro로 자연어를 자동 그래프 쿼리로 변환하는 방법

그래프 데이터베이스 쿼리를 자연어로? Amazon Bedrock와 Amazon Nova Pro의 자동화 활용법

그래프 데이터베이스는 복잡하고 연결된 데이터를 다루는 데 특화되어 있어 기업에서 널리 활용되고 있습니다. 그러나 이들의 고유한 구조로 인해 쿼리를 작성하려면 수년의 도메인 지식이나 그래프 쿼리 언어인 Gremlin에 대한 높은 기술력이 요구됩니다. 이러한 진입 장벽을 낮추기 위해 AWS는 자연어를 곧바로 Gremlin 쿼리로 변환할 수 있는 방법론을 제시했습니다. 이 기술은 Amazon Bedrock과 Amazon Nova Pro의 생성형 AI 모델을 활용하여 쿼리를 자동 생성하도록 돕습니다.

본문에서는 이 기술의 작동 방식, 활용 사례, 성능 비교 및 자동 평가 방법까지 다양한 관점에서 살펴봅니다.

아키텍처 개요 및 처리 절차

이 자동화 프레임워크는 총 세 가지 단계로 구성됩니다:

1단계: 그래프 지식 추출
Vertex(정점)와 Edge(간선)들의 이름, 속성, 연결 관계 등 구조적 정보와 함께, 고객이 직접 제공한 도메인 지식을 바탕으로 어떤 노드는 쿼리에서 제외해야 하는지 등의 규칙도 포함됩니다. 또한, LLM은 정점과 간선에 대한 설명까지 생성하여 쿼리에 더 정확히 반영될 수 있도록 합니다.

2단계: 그래프를 SQL 스키마처럼 구성
텍스트 기반의 SQL 생성 방식처럼, 그래프를 구조화하여 입력 질의의 대상 요소(정점, 속성, 간선)를 파악하고 이를 계층적으로 분류합니다. 이어서 도메인 규칙을 적용해 쿼리 준비를 위한 맥락을 완료합니다.

3단계: 쿼리 생성 및 실행
LLM은 수집된 맥락을 바탕으로 초기 Gremlin 쿼리를 생성하고, 실행 후 오류가 발생하면 피드백을 반영하여 쿼리를 반복적으로 개선합니다. 이 과정은 자동화되어 있어 비전문가 사용자도 손쉽게 그래프 데이터에서 원하는 정보를 추출할 수 있습니다.

효과적인 프롬프트 구성 방식

Amazon은 자연어 질문과 스키마 템플릿을 바탕으로 XML 형식의 쿼리 결과를 출력하도록 LLM을 설계합니다:

생성된 Gremlin 쿼리
입력 질문과 스키마를 어떻게 활용했는지 설명

이 방식은 자동화된 쿼리 평가에도 활용되며, 쿼리 생성의 정확성과 유효성을 높입니다.

LLM 쿼리 vs 기준 쿼리: 정확도 비교

Amazon Nova Pro와 벤치마크 모델을 대상으로 쿼리 생성 정확도를 비교한 결과, 다음과 같은 성능 차이를 확인할 수 있었습니다:

쿼리 정확도(Exact Match)

• 쉬움: Nova Pro 82.7% / 벤치마크 92.6%
• 전체 평균: Nova Pro 70.36% / 벤치마크 78.93%

쿼리 품질 점수(1~10 평점)

• 전체 평균: Nova Pro 7.6 / 벤치마크 8.5

실행 결과 정확도

• 전체 평균: Nova Pro 60.42% / 벤치마크 74.83%

Amazon Nova Pro는 벤치마크 모델보다 약간 낮은 정확도를 보여주었지만, 추후 도메인 전문가의 평가 기준 강화와 쿼리 오류 학습 개선을 통해 품질을 높일 예정입니다.

쿼리 실행 속도 및 비용 비교

Nova Pro는 다음 항목에서 벤치마크 모델을 상회했습니다:

• 평균 쿼리 생성 지연 시간: 1.84초 (벤치마크: 511초)
• 쿼리 생성 비용: 건당 $0.005 미만, 벤치마크보다 최대 80% 저렴

따라서 정밀한 쿼리보다는 빠르고 효율적인 업무 자동화에 더 최적화되어 있음이 드러났습니다. 대규모 자동화된 데이터 추출이나 실시간 질의 처리에는 매우 적합한 선택지입니다.

실제 활용 예시: kscope.ai에서의 평가 결과

총 120개의 기준 테스트 쿼리를 기반으로 생성된 쿼리를 평가한 결과, Nova Pro 기반 시스템은 전체 쿼리 정확도 74.17%를 달성했습니다. 도메인 지식과 그래프 구조 통합, RAG 기반 쿼리 계획, 오류 반복 학습 시퀀스를 갖춘 이 프레임워크는 전문 개발자 없이도 강력한 그래프 질의 자동화를 가능하게 합니다.

결론: 자동 그래프 쿼리 생성 시스템의 가능성

Amazon Bedrock 및 Nova Pro를 활용한 자연어-Gremlin 변환 시스템은 그래프 데이터베이스의 활용도를 극대화하는 데 중요한 전환점이 될 수 있습니다. 특히 데이터 과학자, 비즈니스 분석가, 기획자 등이 복잡한 구조나 코드 없이도 자유롭게 정보를 추출할 수 있어 자동화 효율성과 협업성이 높아집니다.

앞으로는 평가 체계 고도화, 복잡한 쿼리의 분석 능력 향상, 도메인 특화 규칙 기반 학습 등이 추가되어 더욱 정확하고 실용적인 자동화 프레임워크로 발전할 예정입니다.

[1] https://aws.amazon.com/blogs/machine-learning/generate-gremlin-queries-using-amazon-bedrock-models/