Amazon Quick Sight 데이터셋 관계 모델링 최적 사례

Amazon Quick Sight의 여러 데이터셋 관계에 대한 데이터 모델링 최적 사례

데이터 분석 프로젝트의 시작 단계에서 비즈니스 인텔리전스 분석가는 종종 여러 테이블에 나누어져 있는 데이터를 어떻게 결합할지 고민하게 됩니다. Amazon Quick Sight를 이용하여 이 문제를 해결하는 방법에 대해 알아봅니다.

데이터셋 관계 확장의 장점

Amazon Quick Sight의 다중 데이터셋 관계 기능은 데이터 모델링의 큰 전환을 이끌며, 테이블을 선 결합하는 대신 필요한 분석 시점에 논리적 관계를 정의하여 런타임 조인을 수행합니다. 이 접근 방식의 주요 이점은 다음과 같습니다:

• 데이터 준비 작업 최소화: 초기 데이터 준비없이 분석 시점에 필요한 테이블만 조인합니다.
• 고유 세분성 보존: 각 데이터셋이 독립적인 세분성을 유지하므로 중복 없는 정확한 분석이 가능합니다.
• 재사용성 향상: 정의된 관계는 여러 분석 시나리오에 재사용할 수 있어 데이터셋 생성을 반복할 필요가 없습니다.
• 간소화된 거버넌스: 개별 데이터셋 수준에서 권한, 변환, 비즈니스 로직을 관리합니다.
• 독립적인 갱신 일정: 데이터 변동성에 따라 테이블 별로 다른 주기로 데이터를 로드할 수 있습니다.
• 런타임 시점의 행 수준 보안: 데이터 접근 정책을 일관되게 유지하여 보안 규칙을 런타임에 적용합니다.

이러한 관계 기반 모델은 전통적인 단일 데이터셋 모델의 세 가지 주요 비용, 즉 초기 준비, 측정치 중복, 데이터셋 확산을 극복합니다.

아키텍처 이해

다중 데이터셋 관계는 논리적 계층과 물리적 계층의 두 가지 모델링 계층으로 구성됩니다. 각 계층의 역할은 다음과 같습니다:

• 물리적 계층: Quick Sight 데이터셋 내에 존재하며, 조인, 유니온, 변환 등을 통해 물리적 테이블을 통합합니다.
• 논리적 계층: Topic 내에서 각 데이터셋이 하나의 논리적 테이블로 작동하며 필요한 경우에만 조인됩니다.

데이터 모델링 개념과 최적 사례

다중 데이터셋 모델은 성능을 유지하면서도 확장 가능하게 만드는 여러 가지 최적 사례를 포함합니다:

1. 스타 스키마로 시작: 중앙의 사실 테이블과 주변의 차원 테이블로 구성된 스타 스키마를 바탕으로 데이터 모델을 설계합니다.
2. 논리적 테이블로 데이터셋 설계: 하나의 데이터셋이 하나의 비즈니스 개념을 나타내도록 구성합니다.
3. 깨끗한 조인 키 정의: 효율적인 조인을 위해 일치하는 데이터 타입과 서브로게이트 키를 사용합니다.
4. 세분성 관리: 동일한 사실에 관련된 모든 데이터셋은 호환 가능한 세분성에서 조인 가능해야 합니다.

이처럼 Amazon Quick Sight의 다중 데이터셋 관계 기능을 통해 데이터를 효과적으로 모델링하고 분석 과정을 자동화할 수 있습니다. 이는 비즈니스 인텔리전스 분석가들이 많이 사용하는 견고한 데이터 모델링 전략들을 활용합니다.

[1] https://aws.amazon.com/blogs/machine-learning/data-modeling-best-practices-for-amazon-quick-sight-multi-dataset-relationships/