Amazon SageMaker의 OpenLineage 커뮤니티 기여로 데이터 계보 추적 기능 강화

아마존 SageMaker, OpenLineage 커뮤니티에 커스텀 트랜스포트 기여 및 계보 추적 기능 강화

소개

데이터 흐름의 가시성과 신뢰성은 AI 및 ML 프로젝트의 성패를 좌우할 만큼 중요한 요소로 부각되고 있습니다. 이 가운데, AWS는 Amazon SageMaker를 통해 OpenLineage 커뮤니티에 커스텀 트랜스포트 기능을 기여하며 자동화된 계보 추적(lineage) 기능을 한층 더 강화했습니다. 특히, AWS Glue, Amazon Redshift, vETL 파이프라인, 노트북 등의 다양한 소스에서 데이터 계보를 효과적으로 추출·활용할 수 있게 되면서 데이터 사이언티스트 및 ML 엔지니어의 워크플로우 효율성이 크게 개선될 전망입니다.

본문

OpenLineage는 데이터 파이프라인 상의 계보 정보를 표준화된 방식으로 교환하고 추적할 수 있게 해주는 오픈 소스 표준입니다. 이번에 Amazon SageMaker가 OpenLineage에 기여한 ‘AmazonDataZoneTransport’ 커스텀 트랜스포트는 이 생태계에 실질적인 활용성을 더해주는 주요 구성 요소입니다.

이 트랜스포트를 활용하면, OpenLineage 기반 시스템에서 수집된 계보 이벤트를 Amazon SageMaker Unified Studio 도메인으로 직접 전송할 수 있습니다. 즉, 분산된 데이터 소스와 운영 도구 간의 데이터 변형 내역 및 의존성을 상세하게 추적할 수 있어 데이터 거버넌스 수준이 높아지고 컴플라이언스에 대한 대응도 수월해집니다.

SageMaker는 단순한 통합을 넘어, 계보 자동화 기능도 함께 강화했습니다. 대표적으로:

• AWS Glue 및 Amazon Redshift로부터의 이벤트 연동 자동화
• Redshift에서 저장 프로시저(stored procedures) 및 머터리얼라이즈드 뷰(materialized views) 계보 추출 지원
• vETL 프로세스 및 Jupyter 노트북과 같은 도구에서의 자동 계보 캡처 기능

이러한 기능은 복잡한 엔터프라이즈 환경에서 ML 모델이 사용하는 데이터의 변환 흐름을 명확히 파악할 수 있도록 해줍니다. 특히, SQL 기반 데이터 흐름의 이해도를 높이고 작업 자동화를 통한 운영 효율까지 도모할 수 있습니다.

적용 예: 예를 들어, 한 유통 기업이 Redshift 기반의 매출 데이터 분석 시스템을 운영하고 있다고 가정해봅시다. 다양한 SQL 쿼리와 저장 프로시저를 통해 가공된 데이터를 기반으로 ML 모델을 학습시키는 경우, 이 새로운 계보 추적 기능 덕분에 모델 입력 데이터가 어떤 프로세싱을 거쳤는지 자동 추적이 가능해집니다. 동시에 이를 SageMaker Studio에서 시각적으로 확인함으로써, 모델 개선 및 이상 탐지 업무가 보다 정교하게 이루어질 수 있습니다.

결론

Amazon SageMaker의 OpenLineage 커뮤니티 기여와 자동 계보 기능 업데이트는 단순한 통합이 아니라, 데이터 활용 전반의 투명성과 신뢰성을 실질적으로 향상시키는 실무 중심의 접근입니다. 향후 다양한 AWS 서비스 간 데이터를 자동으로 연동하고 추적함으로써, 복잡한 AI·ML 파이프라인 운용 시 생기는 데이터 추적 문제를 효과적으로 해결할 수 있을 것입니다.

본 기능은 Amazon SageMaker가 사용 가능한 전 AWS 리전에서 모두 즉시 활용 가능하며, 사용자 가이드를 통해 상세한 배포 및 설정 방법을 확인하실 수 있습니다. 계보 자동화와 데이터 추적에 대해 고민 중이시라면, 지금 바로 활동을 시작해보세요!

https://aws.amazon.com/ko/about-aws/whats-new/2025/06/amazon-sagemaker-contributes-custom-transport-openlineage-community-offers-additional-lineage-capabilities/