AWS SageMaker로 자동화된 Lakehouse 온보딩과 메타데이터 수집 혁신

AWS SageMaker, 자동화된 Lakehouse 온보딩과 메타데이터 수집으로 데이터 관리 혁신

최근 AWS는 Amazon SageMaker에 두 가지 주요 기능을 추가하며 데이터 관리와 데이터 거버넌스를 한층 간편하게 만들어줬습니다. 이번 개선은 다양한 팀 간 협업을 빠르게 수행하고 데이터 활용을 즉시 가능하게 하여 기업 운영의 민첩성을 높이는 데 크게 기여합니다.

자동화된 Lakehouse 온보딩: 데이터 활용의 시작을 가볍게

첫 번째 주요 기능은 자동화된 Lakehouse 온보딩입니다. 이제 사용자는 AWS Glue 데이터 카탈로그에 등록된 데이터셋(예: 테이블 정보)을 Amazon SageMaker Catalog로 자동으로 가져올 수 있습니다. 이 작업은 새로운 SageMaker Unified Studio 도메인을 생성하거나 기존 도메인을 업데이트할 때 이루어지며, 별도의 수작업 IAM 권한 구성, 메타데이터 수집 작업 또는 스크립트 작성을 생략할 수 있습니다. 이에 따라 데이터는 즉시 검색 가능하고, 분석 및 협업 환경에서도 즉시 활용될 수 있습니다.

직접 공유 기능으로 협업 자동화

두 번째 기능은 SageMaker Catalog의 데이터를 직접 공유할 수 있는 기능입니다. 데이터 소유자가 자신이 관리하는 데이터 자산(데이터셋 등)을 다른 SageMaker Studio 프로젝트에 직접 공유할 수 있어, 기존처럼 별도의 구독 요청이나 승인 절차 없이 협업이 가능합니다. 특히 다양한 부서나 팀 간의 협업 시 발생할 수 있는 업무 전환 손실과 지연을 줄이는 동시에, 데이터 거버넌스를 그대로 유지할 수 있다는 점에서 효율성과 보안이 모두 강화됩니다.

사례 및 적용 가능성

이러한 개선 사항은 현재 Amazon SageMaker가 지원되는 모든 AWS 리전(서울, 도쿄, 프랑크푸르트, 런던 등)에서 사용할 수 있으며, 특히 동아시아 기반의 클라우드 전략을 고민 중인 국내 기업들에게도 큰 장점으로 작용합니다.

예를 들어, 데이터 분석을 통해 AI 기반 추천 시스템을 운영하고자 하는 이커머스 업체라면 위의 기능을 이용해 다양한 형식의 데이터를 쉽게 통합하고, 여러 개발자가 동시에 같은 데이터 환경에서 작업할 수 있어 개발 주기를 단축할 수 있습니다. 또한 기업 내부 데이터 사용자에 대한 거버넌스를 내부 Studio 도메인과 분리된 권한으로 구성할 수 있어 보안 위협 없이 협업이 가능하다는 점도 중요합니다.

SageMaker 데이터 카탈로그 기능은 데이터 비교, 자동화된 메타데이터 관리, 다양한 분석 및 머신러닝 활용에 기본 역량을 제공합니다. 특히, 향후 SageMaker 통합 환경을 도입하고자 하는 기업에게 구체적인 구축 및 배포 가이드를 통해 효율적인 활용 전략을 세우는 데 도움이 될 수 있습니다.

마무리

Amazon SageMaker의 신규 기능은 데이터 기반 조직 환경의 핵심 키워드인 자동화, 협업, 거버넌스를 한꺼번에 해결할 수 있는 솔루션입니다. 클라우드에서 데이터의 전체 생애주기를 보다 잘 관리하고자 하는 기업에게 이 기능은 강력한 도구가 될 것입니다. 도입 가이드와 함께 비교 및 활용 전략을 충분히 마련해두면 더욱 빠른 전환과 높은 ROI를 기대할 수 있습니다.

https://docs.aws.amazon.com/sagemaker-unified-studio/latest/adminguide/data-onboarding.html