AWS Glue Zero-ETL 통합으로 데이터 레이크 자동 구축하기

AWS Glue Zero-ETL 통합 기능으로 데이터 레이크 자동화 구현하기

도입

데이터 파이프라인의 구축과 유지보수는 많은 시간과 리소스를 요구합니다. 특히 다양한 SaaS 애플리케이션과 데이터베이스로부터 데이터를 수집하고 분석 가능한 형태로 변환하는 작업은 기존의 ETL(Extract-Transform-Load) 방식으로 진행할 경우, 복잡한 스크립트 작성과 인프라 운영 부담으로 이어질 수 있습니다. 이러한 문제를 해결하기 위해 AWS에서 제공하는 ‘Zero-ETL 통합’ 기능은 새로운 데이터 활용 환경을 열어주고 있습니다.

AWS Glue는 관리형 데이터 통합 서비스로, 최근 Amazon DynamoDB와 Salesforce, SAP, Zendesk를 포함한 다양한 애플리케이션에서 Amazon S3 Table로의 Zero-ETL 통합 기능을 정식 지원하고 있습니다. 본 글에서는 Zero-ETL 통합의 원리와 활용 방법, 그리고 배포 가이드를 중심으로 실제 적용 사례까지 소개합니다.

본론

1. Zero-ETL 통합이란?

Zero-ETL은 전통적인 ETL 프로세스를 거치지 않고도 데이터 소스로부터 분석 플랫폼에 데이터를 직접 전송할 수 있도록 해주는 AWS의 데이터 적재(ingestion) 기능입니다. 이 모델은 ETL 설계, 데이터 파이프라인 구축, 전환 로직 구현, 배포 및 버그 수정 등의 복잡한 단계를 생략하고 데이터 통합을 자동화합니다.

2. 지원 대상 및 기능

이번 업데이트를 통해 AWS Glue는 아래와 같은 원천소스를 지원하여 S3 Table 기반 데이터 레이크에 데이터를 자동으로 로딩할 수 있게 되었습니다:

• Amazon DynamoDB
• Salesforce
• SAP
• ServiceNow
• Zendesk 등 총 8가지 애플리케이션

S3 Table은 Apache Iceberg를 기반으로 설계되어 있어 Amazon Athena, Amazon EMR, Amazon Redshift와 AWS Glue 등의 분석 서비스와의 통합이 손쉽게 이루어집니다.

3. 활용 방법 및 배포 가이드

Zero-ETL 통합은 다음의 3가지 방식 중 하나로 설정 및 관리할 수 있습니다:

• AWS Glue 콘솔을 통한 시각적 설정
• AWS CLI를 이용한 스크립트 기반 자동화
• AWS SDK 또는 REST API를 기반으로 한 커스터마이징

활용 예시:

• 고객관리 데이터를 Salesforce에서 실시간으로 수집해 S3 Table에 적재
• SAP ERP 시스템에서 수집한 주문 정보를 변환 없이 곧바로 저장
• 서버리스 데이터를 DynamoDB에서 S3 Table로 전송하여 Redshift에서 분석

이처럼 Zero-ETL 통합을 통해 AWS 사용자는 별도의 프로그래밍 없이도 데이터를 분석 준비 상태로 유지할 수 있어, 데이터 분석과 AI 모델 개발에 더 많은 시간을 투자할 수 있습니다.

4. 지역 지원 범위

이번 통합 기능은 서울 리전을 포함해 다음과 같은 14개 리전에서 사용할 수 있습니다.

• 미국 동부 (버지니아 북부, 오하이오)
• 미국 서부 (오레곤)
• 아시아 태평양 (도쿄, 홍콩, 싱가포르, 시드니, 서울)
• 유럽 (런던, 프랑크푸르트, 스톡홀름, 아일랜드)
• 남미 (상파울루)
• 캐나다 (중부)

5. 사용 시 기대 효과

• 수작업 파이프라인 구축 최소화
• 수 주 간의 개발 공수 절감
• 실시간 혹은 근실시간 데이터 분석 가능
• 운영 복잡도 감소 및 오류 발생률 절감

결론

AWS Glue의 Zero-ETL 통합 기능은 다양한 SaaS 애플리케이션과 데이터베이스로부터의 데이터를 자동으로 수집하고 변환 없이 직접 S3 기반 데이터 레이크에 저장할 수 있는 강력한 자동화 도구입니다. 이를 통해 분석 플랫폼으로의 데이터 전달 과정이 한층 간소화되며, AI 및 데이터 분석 프로젝트의 속도와 효율성을 높일 수 있습니다. 기존 ETL 방식의 한계를 느껴왔다면, 이제 Zero-ETL 기능을 통해 데이터를 보다 효과적으로 활용하기 바랍니다.

https://aws.amazon.com/ko/about-aws/whats-new/2025/07/aws-glue-zero-etl-dynamodb-applications-s3-tables/