AWS 기반으로 분석 환경을 현대화한 호주 Revenue NSW의 성공 사례

호주 뉴사우스웨일스 정부의 세무청인 Revenue NSW는 800만 명이 넘는 주민들에게 보다 공정하고 효율적인 서비스를 제공하기 위해 최신 데이터 분석 환경을 구축하고자 했습니다. 이를 위해 AWS 기반의 클라우드 아키텍처를 활용하여 데이터 분석 플랫폼을 현대화하고 대규모 데이터 통합, 실시간 처리를 포함한 통합 분석 환경을 성공적으로 구현했습니다.

기존 과제는 다양한 기술과 포맷으로 구성된 수백 개의 데이터 소스에서 발생하는 복잡성과 비효율성에 있었습니다. 특히 운영 중인 온프레미스 장비는 노후화되고 확장성이 떨어졌습니다. 이에 Revenue NSW는 다양한 시스템으로부터 획득한 데이터를 신속하고 표준화된 방식으로 전처리하고 통합할 수 있는 자동화된 분석 환경이 필요했습니다.

AWS와 협업하여 진행된 이 프로젝트는 Amazon Redshift를 중심으로 설계되었습니다. PoC(개념 검증) 결과 기존 시스템 대비 최대 100배 빠른 쿼리 성능 향상을 확인했고, 제공하는 기능 대비 비용 효율성도 높아 즉시 채택이 결정되었습니다. 특히 자동화, 유연한 확장, 다양한 데이터 포맷 지원 등에서 우수한 성능을 입증하며 활용 가능성이 매우 높았습니다.

데이터 활용과 배포 가이드를 정리하면 다음과 같습니다.

• 데이터 마이그레이션: Oracle, PostgreSQL, MS SQL 등 여러 운영 데이터베이스에서 AWS Database Migration Service(AWS DMS)를 통해 초기 대량 적재와 이후 변경사항을 실시간으로 Amazon Redshift로 전송했습니다.

• 실시간 API 연동: Salesforce의 실시간 API 데이터는 Amazon AppFlow를 사용하여 자동으로 수집하고 Redshift에 통합했습니다. 로우코드 옵션을 통해 비개발자도 직관적으로 사용할 수 있어 확장성 있는 활용이 가능했습니다.

• 반정형 파일 처리: 다양한 외부 기관으로부터 수신한 수백 개의 구조화·반구조화 파일은 Amazon S3에 업로드되며, 이벤트 기반 아키텍처로 AWS Glue의 ETL 작업이 자동으로 실행되었습니다.

• 인프라 자동화: 인프라는 IaC(Infrastructure as Code)를 통해 구성되고, CI/CD를 기반으로 배포 자동화가 이루어져 유지관리 효율성을 극대화했습니다.

이 아키텍처는 Amazon Redshift의 표준 SQL 지원, AWS DMS와 AppFlow의 자동화된 데이터 연동, AWS Glue의 Python 기반 지원 등을 결합하여 사용자와 분석가 모두가 친숙한 도구와 언어로 데이터를 활용할 수 있도록 설계되었습니다.

높은 확장성, 모듈화, 서버리스 아키텍처로 구성된 이 환경은 실제 운영에서 더 빠른 의사결정과 리소스 효율화를 이뤄냈습니다. 반복 가능한 패턴과 자동화는 데이터 수집 및 분석 시간을 몇 달에서 불과 며칠 또는 몇 시간으로 단축시켰습니다.

또한 성공요소 중 하나는 시스템을 운영할 팀이 단순히 기술 중심이 아닌, 직무 간 협업과 학습을 기반으로 구성되었다는 점입니다. 이러한 팀은 PoC부터 프로덕션까지 단계적으로 기술을 익히고 직접 개선해나가는 과정에서 AWS의 아키텍처 지원까지 받아 안정성과 유연성을 동시에 확보할 수 있었습니다.

결론적으로 Revenue NSW는 AWS를 통한 분석 환경 현대화로 기존 레거시 인프라를 대체하고, 결과적으로 분석가들이 더욱 높은 가치를 창출할 수 있는 환경을 갖추게 되었습니다. 이는 재사용 가능한 데이터 서비스를 통해 민첩성을 높이고, AI 및 운영 효율성을 제고하며, 비용 효율적인 전환을 가능케 하였습니다.

향후 NSW는 이 플랫폼을 바탕으로 생성형 AI, 머신러닝 등 차세대 데이터 활용 방식으로의 도입도 고려하고 있어 계속해서 데이터 중심의 혁신 사례로 주목받고 있습니다.

https://aws.amazon.com/blogs/big-data/revenue-nsw-modernises-analytics-with-aws-enabling-unified-and-scalable-data-management-processing-and-access/