GraphStorm v0.5를 활용한 실시간 그래프 기반 사기 탐지 구축 가이드

사기 방지의 현대화: GraphStorm v0.5를 활용한 실시간 추론 도입 가이드

소개

사기 거래는 금융 산업에 심각한 타격을 주고 있습니다. 2024년 미국 소비자들이 입은 손실만 해도 125억 달러에 달하며, 이는 전년 대비 25% 증가한 수치입니다. 이 같은 증가의 원인은 단순한 공격 빈도가 아닌, 사기범들이 사용하는 정교한 기술 때문입니다. 기존의 머신러닝 방식은 개별 거래만을 분석해 네트워크 기반의 조직적 사기 활동을 포착하기 어려웠습니다.

이를 해결하기 위한 솔루션으로 그래프 신경망(Graph Neural Network, GNN)이 주목받고 있으며, AWS는 이 GNN 기반 사기 탐지를 엔터프라이즈 환경에서 실시간으로 구현할 수 있는 GraphStorm v0.5를 공개했습니다. 이제 복잡한 시스템 조합 없이 단일 명령어를 통해 실시간 추론이 가능한 환경을 구축할 수 있게 되었습니다.

본 포스트에서는 GraphStorm v0.5를 기반으로 하는 사기 탐지 실시간 추론 파이프라인을 구현하는 과정을 소개하고, 이를 위해 필요한 활용 방법, 배포 가이드, 자동화 예시까지 종합적으로 설명합니다.

본론

1. 파이프라인 개요

GraphStorm v0.5 기반 실시간 사기 탐지 시스템은 총 네 단계로 구성됩니다.

1단계는 OLTP 그래프 DB (예: Amazon Neptune)로부터 거래 그래프를 추출하여 Amazon S3나 EFS로 저장합니다.
2단계는 그래프 데이터를 GraphStorm 툴킷을 사용해 분산 GNN 모델 학습을 수행합니다.
3단계에서는 학습된 모델을 기반으로 한 명령어로 SageMaker AI 엔드포인트를 배포합니다.
4단계에서 클라이언트 애플리케이션은 Neptune 그래프 DB에서 서브그래프를 샘플링하고, 이를 표준화된 페이로드로 변환한 후 SageMaker에 실시간 추론 요청을 보냅니다.

2. 사용 사례: IEEE-CIS 사기 탐지 데이터

활용한 데이터셋은 IEEE-CIS 사기 탐지 데이터로, 약 50만 건의 거래 중 3.5%가 사기로 레이블링된 구조입니다. 이 데이터는 카드 정보, 주소, 이메일 도메인 등을 기반으로 이기종 그래프로 변환됩니다.

각 거래 노드(transaction)는 관련된 카드 유형, 제품 종류, 위치 및 이메일 도메인 등과 관계를 갖으며, GNN 모델은 이런 관계성을 활용해 사기 패턴을 탐지합니다.

3. 주요 구현과정: 환경 설정부터 모델 서빙까지

• 환경 구성
  AWS CDK를 이용해 Neptune, SageMaker, Amazon S3 등을 자동으로 구축합니다. Jupyter Notebook을 통해 전체 파이프라인을 단계별로 제어합니다.

• 그래프 생성 및 학습
  CSV 형태로 구성된 원시 데이터를 가지고 거래, 카드, 이메일 등 노드를 추출하고 Neptune 포맷으로 변환합니다. GraphStorm GConstruct 도구는 이를 분산형 그래프 포맷으로 변환해 다수의 GPU에서 병렬 학습할 수 있도록 지원합니다.
  모델 학습은 RGCN 기반 기본 구조를 사용해 4 에폭 정도로 진행하며, AUC-ROC를 평가 지표로, 클래스 불균형을 고려한 가중치 조정을 통해 사기 탐지 정확도를 향상시킵니다.

• 실시간 엔드포인트 배포
  학습된 모델과 구성 파일(JSON 및 YAML)을 사용해 SageMaker AI에서 BYOC 방식으로 실시간 엔드포인트를 배포합니다. GraphStorm v0.5는 전통적으로 수작업이 필요한 모델 배포 과정을 단일 명령어로 자동화하여 효율성을 극대화합니다.

• 실시간 추론
  SageMaker Notebook 또는 애플리케이션에서 Neptune DB로부터 k-hop 이웃을 추출하고, 반환된 GraphSON을 GraphStorm의 JSON 포맷으로 변환 후 추론 요청을 보냅니다. 응답은 각 거래에 대해 '정상(0)' 또는 '사기(1)'에 대한 확률로 반환되며, 몇 백 밀리초 수준의 응답 시간으로 활용에 적합합니다.

실제 결과 예시:
{'status_code': 200,
'node_type': 'Transaction',
'prediction': [0.996, 0.004]}
→ 해당 거래가 사기일 가능성은 0.4%로 정상으로 판단됨

결론

GraphStorm v0.5는 엔터프라이즈 환경에서의 GNN 실시간 추론 배포를 대폭 단순화하는 혁신적인 도구입니다. 단일 명령어 배포 및 표준화된 데이터 사양은 사용자가 빠르게 추론 서비스를 구축하고 운영할 수 있도록 지원합니다. 특히 Amazon SageMaker AI와의 통합은 운영 자동화와 확장성 측면에서도 큰 장점을 제공합니다. 기존의 복잡한 ML 시스템 자동화 대신, 그래프 기반 모델을 통한 높은 정밀도의 사기 탐지 시스템을 구현하고자 한다면 GraphStorm은 최적의 선택이 될 수 있습니다.

실제 구현을 위해서는 GraphStorm의 공식 문서와 GitHub 샘플 코드를 참고하여 데이터셋에 맞는 커스터마이징을 적용하면 됩니다. 동시에 AWS의 다양한 클라우드 서비스(Amazon Neptune, SageMaker, S3 등)를 활용하며 실시간 서비스를 빠르고 안정적으로 배포할 수 있습니다.

https://aws.amazon.com/blogs/machine-learning/modernize-fraud-prevention-graphstorm-v0-5-for-real-time-inference/