AWS Redshift 기반 공간 데이터 레이크 구축과 ArcGIS Pro 자동 연동 가이드

AWS Redshift 기반 공간 데이터 레이크 구축 및 ArcGIS Pro와 연동하는 자동화 가이드

도입

공간 데이터의 활용이 빠르게 확산됨에 따라, 많은 기관들이 방대한 양의 위치 기반 데이터를 효율적으로 저장∙분석하고 시각화하는 솔루션을 찾고 있습니다. AWS의 Amazon Redshift Serverless, AWS Glue, Lake Formation과 ArcGIS Pro를 연계하면, 정형화되지 않은 공간 데이터를 통합∙보안∙시각화하여 자동화된 분석 환경을 구축할 수 있습니다.

이번 포스팅에서는 공공 보건 데이터를 활용한 위치 기반 백신 클리닉 정보 시각화 사례를 통해 Amazon Redshift 기반 지리정보 데이터 레이크를 구성하는 방법과 활용 전략을 단계별로 안내합니다.

본문

1. 솔루션 아키텍처 개요

이 솔루션의 시나리오는 보건소 데이터 레이크에 저장된 백신 클리닉 정보를 GIS 분석가가 지도에서 시각화하는 것입니다. 민감한 PHI(Personal Health Information) 데이터는 열 단위 권한 제어를 통해 접근을 제한하며, 클리닉의 이름, 주소, 좌표 정보 등은 ArcGIS Pro를 통해 지도에 시각화됩니다.

사용된 주요 서비스는 다음과 같습니다.

• Amazon S3: 원천 CSV 데이터 저장
• AWS Glue: 메타데이터 수집 및 카탈로그 등록
• AWS Lake Formation: 데이터 권한 설정(Tag 기반)
• Amazon Redshift Serverless + Spectrum: 외부 스키마 접속 및 분석
• ArcGIS Pro: 데이터 시각화 툴

2. 단계별 배포 가이드 및 설정

1. 인프라 배포 (AWS CloudFormation)
   CloudFormation 템플릿을 통해 자동으로 S3 버킷, AWS Glue 크롤러, Redshift Serverless 인프라, IAM Role 및 Lake Formation Tag가 배포됩니다.

2. 데이터 업로드 및 Glue 크롤링
   자체 제공된 샘플 CSV 파일을 S3에 업로드한 뒤, AWS Glue 크롤러를 실행하여 스키마를 생성하고 데이터 카탈로그를 구성합니다.

3. Lake Formation 권한 설정
   클리닉 관련 열에 geoproperty=True 태그를 부여한 뒤, GIS 분석가가 이 열에만 접근할 수 있도록 Select 권한을 IAM Role에 할당합니다.

4. Amazon Redshift 외부 스키마 구성
   AWS Glue 카탈로그에 등록된 테이블을 기반으로 외부 스키마를 생성해 Redshift에서 해당 데이터를 불러올 수 있습니다. 이후 내부 스키마에서 view를 생성하여 지리좌표를 기반으로 ST_MAKEPOINT 함수로 geometry 데이터를 생성합니다.

5. ArcGIS Pro 사용자 및 접속 설정
   Redshift 내부에 ArcGIS Pro 연결용 사용자 및 그룹(dbuser, esri_developer_group)을 생성하고, 필요한 SELECT 및 SCHEMA 권한을 부여합니다.

6. ArcGIS Pro에서 Redshift 연동
   Redshift Serverless Workgroup의 엔드포인트를 ArcGIS Pro에 연결하여 앞서 만든 clinic_location_view를 지도 위에 시각화합니다.

3. 보안 비교 및 자동화 전략

Lake Formation의 LF-Tag 기반 열 단위 접근 제어는 클라우드 환경에서 민감한 정보 보호에 최적화된 보안 설계입니다. 기존 IAM 기반 제어보다 유연하며, 관리자가 속성 단위 접근 제어를 개별적으로 자동화하거나 분석 권한 흐름을 세밀히 설정할 수 있습니다.

또한, 전체 배포 및 설정은 CloudFormation으로 구성되어 있어 자동화된 배포가 가능합니다. 향후 다른 GIS 데이터셋으로 확장할 경우도 템플릿 구조만 수정하면 손쉽게 재활용할 수 있습니다.

결론

Amazon Redshift와 ArcGIS Pro를 연계한 공간 데이터 레이크 구축은 방대한 위치 기반 데이터를 분석 및 시각화하는 데 매우 효과적인 방식입니다. 본 가이드는 AWS의 데이터 분석 서비스 및 보안 기능(Lake Formation)과 외부 GIS 플랫폼을 통합하여 실시간 위치 정보를 시각화하는 자동화 파이프라인 설계에 중점을 두었습니다.

공간 데이터 활용 및 분석 자동화를 고민 중이라면, 이와 같은 솔루션 구성을 기반으로 맞춤화된 환경을 설계해보시기 바랍니다.

https://aws.amazon.com/blogs/big-data/geospatial-data-lakes-with-amazon-redshift/