Stifel의 AWS 기반 이벤트 중심 데이터 메시 아키텍처 구축 사례

스티펠(Stifel)의 AWS 기반 이벤트 주도형 데이터 메시 아키텍처 활용 사례

도입

금융 서비스 기업에서 데이터는 단순한 정보의 축적을 넘어 핵심 비즈니스 의사결정과 서비스 혁신의 근간이 됩니다. 이번 포스팅에서는 Stifel Financial Corp.이 어떻게 AWS Glue, Amazon EventBridge, AWS Lake Formation 등 AWS 서비스를 활용하여 이벤트 주도형 데이터 메시 아키텍처를 구축했는지에 대한 구현 방식, 활용 방법, 실무 적용 사례를 중심으로 소개합니다.

이러한 아키텍처는 특히 급변하는 시장 환경 속에서 데이터 사이클을 단축하고, 비즈니스 민첩성과 자동화를 향상시키며, 시스템 확장성을 확보하려는 기업에 적합합니다.

주요 내용 – 데이터 메시 아키텍처와 자동화 활용 사례

Stifel은 기존의 중앙 집중형 데이터 관리 방식에서 탈피해 도메인 기반의 이벤트 주도형 아키텍처로 전환했습니다. 이 전략은 다음과 같은 목표를 두고 설계되었습니다.

• 도메인별 소스 정렬된 데이터 제품 관리
• 중앙 카탈로그에 데이터 제품 통합 게시
• 실시간/준실시간 데이터 처리
• 데이터 거버넌스를 유지하면서도 자율성과 유연성 제공

마이크로서비스처럼 각 도메인은 개별적으로 데이터 제품을 생성하고 공유할 수 있으며, 필요 시 이를 전체 조직에 공개하거나, 내부용으로만 유지할 수 있습니다.

Stifel은 데이터 자산의 라이프사이클을 자동화하기 위해 이벤트 기반 트리거 구조를 도입했습니다. 예를 들어, Amazon S3에 신규 파일이 저장되면 SQS 대기열을 통해 AWS Lambda가 작동하고, 메타데이터가 감사 테이블에 기록됩니다. 이후 Step Functions가 Glue 잡을 트리거하며 데이터 획득부터 정제까지 전체 파이프라인을 자동화합니다.

이벤트 기반 설계의 핵심은, 어떤 데이터 상품이 갱신되었을 때 해당 이벤트를 EventBridge를 통해 바로 구독자에게 전달함으로써 자동으로 의존된 데이터 파이프라인을 갱신한다는 점입니다.

이러한 자동화는 Stifel의 도메인 오케스트레이션 프레임워크에서 구현되며, 각 데이터 파이프라인이 종속된 이벤트가 수신되었을 때 적시에 트리거됩니다. 성공 또는 실패 상태에 따라 메타데이터가 갱신되고 장애 처리 티켓도 자동 생성됩니다.

주요 AWS 서비스 활용 방식

• AWS Glue: 서버리스 데이터 통합 및 데이터 상품 생성. Glue Catalog를 통해 중앙 검색 기능 제공
• Amazon EventBridge: 도메인 간 이벤트 전달을 위한 서버리스 이벤트 총선거 버스
• AWS Lake Formation: 보안과 거버넌스를 보장하면서 도메인 자율성을 유지하는 중앙 카탈로그 구성
• Apache Hudi on S3: 오픈 테이블 포맷을 활용한 빠른 변경 반영 및 통합 조회 가능 구조

결론

Stifel은 AWS 기반의 데이터 메시 아키텍처를 활용하여 다음과 같은 효과를 얻고 있습니다.

• 비즈니스 민첩성: 빠른 시장 대응력, 신기능 통합용이성, 프로세스 유연화
• 고객 경험 개선: 개인화된 실시간 인터랙션, 전 채널 일관된 서비스 제공
• 운영 효율성: 시스템 간 결합도 감소, 자원 최적화, 확장성과 유연성 증가
• 비용 효율성: 인프라 및 유지 비용 절감, 기술 투자 대비 ROI 향상

이 포스팅은 Stifel이 이벤트 기반 데이터 아키텍처를 통해 어떻게 데이터 중심 조직으로 탈바꿈했는지를 보여주는 실전 사례입니다. 데이터 규모가 커지고 실시간 분석 수요가 증가하는 오늘날, Stifel의 접근은 데이터 전략 수립에 있어 중요한 벤치마크로 작용할 수 있습니다.

https://aws.amazon.com/blogs/big-data/how-stifel-built-a-modern-data-platform-using-aws-glue-and-an-event-driven-domain-architecture/