아마존 데이터존(Amazon DataZone)과 AWS CDK로 데이터 거버넌스를 간편하게 정비하기
데이터를 다양한 환경에서 관리하는 것은 복잡하고 난해한 작업일 수 있습니다. 이러한 문제를 해결하기 위해 아마존 데이터존(Amazon DataZone)은 AWS, 온프레미스, 및 제3자 소스에 저장된 데이터를 카탈로그화, 발견, 공유 및 관리할 수 있게 단순화합니다.
대다수 조직은 방대한 데이터 자산을 다양한 팀이 소유하고 있어, 확장 가능한 데이터 관리를 위한 복잡한 환경을 갖고 있습니다. 이러한 조직들은 코드를 통한 인프라(Infrastructure as Code, IaC) 접근 방식이 필요합니다. 우리는 AWS 클라우드 개발 키트(AWS Cloud Development Kit, AWS CDK)를 통해 Amazon DataZone을 배포하여 원활하고 확장 가능하며 안전한 데이터 거버넌스를 구현하는 방법을 탐구합니다.
솔루션 개요
AWS CDK를 사용하여 IaC를 활용함으로써 조직은 데이터 거버넌스 솔루션을 효율적으로 배포 및 관리할 수 있습니다. 이 접근 방식은 모든 팀 간의 확장성, 보안성 및 원활한 통합을 제공하며, 지속적이고 자동화된 배포를 가능하게 합니다.
AWS CDK는 클라우드 IaC를 정의하고 이를 AWS CloudFormation을 통해 조달하는 프레임워크입니다. 개발자는 지원되는 여러 프로그래밍 언어를 사용하여 구성 요소를 재사용할 수 있는 클라우드 컴포넌트를 정의할 수 있습니다. AWS CDK는 이러한 고수준 구성 요소를 CloudFormation 템플릿으로 변환하며, AWS CloudFormation은 이 템플릿에서 특정한 자원을 조달하여 IaC의 사용을 간소화합니다.
Amazon DataZone의 핵심 구성 요소는 데이터 관리와 데이터 거버넌스를 위한 포괄적인 종합 솔루션을 구축하는 기본 요소입니다.
Amazon DataZone의 핵심 구성 요소:
- 아마존 데이터존 도메인(Amazon DataZone Domain): 데이터 자산과 사용자, 프로젝트를 조직화할 수 있도록 돕습니다.
- 데이터 포털(Data Portal): 다양한 사용자가 스스로 데이터를 카탈로그, 발견, 관리, 공유 및 분석할 수 있는 브라우저 기반의 웹 애플리케이션입니다.
- 비즈니스 데이터 카탈로그(Business Data Catalog): 조직 전체의 데이터를 비즈니스 컨텍스트와 함께 카탈로그화하여 모든 이들이 데이터를 빠르게 발견하고 이해할 수 있게 도와줍니다.
이 외에도 Amazon DataZone 프로젝트, 환경, 데이터 소스와 게시/구독 워크플로우를 통해 효율적인 데이터 관리 환경을 조성합니다.
솔루션 배포
솔루션을 배포하기 전에, AWS 계정, 터미널 소프트웨어(Bash 또는 ZSH), AWS CLI, Python(3.10 이상), Node(v18.17 이상), NPM(v10.2 이상)의 설치가 필요합니다.
배포 단계는 다음과 같습니다:
- GitHub 저장소를 클론하여 로컬 저장소로 이동합니다.
- 로컬 의존성을 설치하고, AWS 계정에 로그인합니다.
- AWS CDK 환경을 부트스트랩합니다.
- 필요한 파일 내의 자리표시자를 AWS 계정과 리전 정보로 대체합니다.
- Amazon DataZone의 도메인 등의 구성 요소를 설정한 후, IAM 정책 변경 및 LakeFormation 관리자 구성 등을 통해 배포를 수행합니다.
배포가 완료된 후에는, CloudFormation 콘솔에서 배포된 스택을 확인하고 Amazon DataZone 콘솔에서 결과를 확인할 수 있습니다.
데이터 거버넌스의 복잡성을 해소하고 싶으신가요? Amazon DataZone과 AWS CDK를 통해 데이터를 체계적으로 정비해보세요.
AI, Cloud 관련한 문의는 아래 연락처로 연락주세요!
(주)에이클라우드
이메일 : acloud@a-cloud.co.kr
회사 번호 : 02-538-3988
회사 홈페이지 : https://www.a-cloud.co.kr/
문의하기