Amazon SageMaker로 OpenLineage 기반 데이터 계보 자동화 구축하기

데이터 계보(Data Lineage) 수집 자동화를 위한 SageMaker 활용 가이드

데이터 거버넌스를 성공적으로 구축하기 위해 핵심적으로 필요한 것은 데이터 흐름과 계보(lineage)를 명확하게 추적하고 시각화하는 것입니다. 특히 다양한 데이터 파이프라인 도구에서 생성된 데이터를 통합적으로 관리하려면 계보 정보의 중앙화가 필수적입니다. 이번 포스팅에서는 Amazon SageMaker에서 OpenLineage 프로토콜을 활용해 dbt, Apache Airflow, Apache Spark와 같은 주요 도구로부터 데이터 계보를 수집하고 자동화하는 방법, 배포 가이드와 사례를 정리해보겠습니다.

SageMaker Unified Studio 및 SageMaker Catalog를 기반으로 하는 이 구조는 Amazon DataZone과 통합되어 데이터 계보 및 AI 개발 환경을 보다 높이는데 기여합니다.

데이터 계보 수집 자동화 아키텍처 개요

Amazon SageMaker는 OpenLineage와 호환되는 API를 지원함으로써 데이터 계보 이벤트를 쉽게 수집할 수 있습니다. SageMaker와 DataZone 간 계보 이벤트 전달을 위해 HTTP Proxy 아키텍처 패턴이 동원되며, 주요 구성 요소는 다음과 같습니다.

Amazon API Gateway가 데이터 전송을 위한 HTTP 엔드포인트 역할 수행
Amazon SQS가 순서를 보장하지 않는 이벤트 버퍼 처리
AWS Lambda가 이벤트를 처리하고 SageMaker로 전달
필요시 IAM 및 CloudWatch를 통해 인증 및 로깅 수행

OpenLineage 프록시 아키텍처 구성도

활용 방법 예시 1: AWS Glue 4.0에 OpenLineage 설정하기

AWS Glue는 버전 4.0에서도 OpenLineage를 통한 계보 수집이 가능합니다. 이를 위해 Spark용 OpenLineage 패키지를 다운로드하고 S3에 저장한 후 Glue 작업에 JAR 패키지를 참조로 추가합니다.

또한 job parameters에 사용자 정의 속성으로 아래와 같은 설정을 추가해 계보 이벤트를 OpenLineage 프록시로 전송할 수 있습니다.

Glue 작업에 JAR 파일 추가 화면

Glue 작업 파라미터 설정 화면

작업 실행 후 해당 데이터셋은 SageMaker Unified Studio 및 Amazon DataZone 내에서 원천 데이터의 흐름을 따라 완전한 계보 정보를 제공합니다.

SageMaker Studio에서 데이터 계보 확인

DataZone에서 계보 맵 확인

활용 방법 예시 2: dbt에 OpenLineage 설정하기

dbt는 Redshift, EMR, Glue 등 다양한 플랫폼 위에서 동작할 수 있는 데이터 파이프라인 솔루션입니다. 프로젝트 루트에 openlineage.yml 파일을 만들고 HTTP Proxy 엔드포인트를 설정합니다. 이후 dbt-ol run 명령어를 사용하면 계보 이벤트가 자동으로 전송됩니다.

dbt에 openlineage.yml 설정 화면