AWS SageMaker를 활용한 안전한 애드혹 분석 민주화

AWS SageMaker 활용하여 안전한 애드혹 분석 민주화하기

최근 많은 기업들이 애드혹 분석의 민첩성을 제공하는 동시에 엄격한 컴플라이언스를 충족하는 환경 구축에 어려움을 겪고 있습니다. ZS는 이러한 문제를 해결하기 위해 Amazon SageMaker를 기반으로 한 보안 강화 플랫폼을 구축하여, 개발자의 기동성과 안전성을 동시에 만족시킬 수 있었습니다.

시작하며

Amazon SageMaker는 고급 분석 및 머신러닝을 위한 혁신적인 도구로, 데이터 과학자들이 보다 쉽게 접근할 수 있도록 돕습니다. 그 중에서도 ZS Associates는 Amazon SageMaker를 이용해 규제가 엄격한 산업에서도 민첩한 분석 환경을 제공하고자 했습니다.

ZS의 기술 아키텍처

ZS는 다중 사용자를 지원하는 멀티테넌트 아키텍처로, 각 도메인이 독립된 Amazon EFS 볼륨과 IAM 역할로 격리된 환경을 제공합니다. 인터넷 없는 모드를 기본으로 하며, JFrog Artifactory를 활용해 안전한 패키지 관리를 구현했습니다.

활용 사례 및 효과

1. 운영 효율성: 사용자 데이터를 Amazon S3에 자동 백업하여 복원력을 강화하고, 조건부로 높은 사양의 인스턴스를 허용하여 비용을 절감합니다.
2. 보안 준수: 네트워크 격리, 암호화, 위협 탐지 및 감사 로깅을 통해 안전한 환경을 유지합니다.
3. 비용 최적화: 태그 기반의 비용 할당으로 각 사용자의 실제 사용량에 따라 청구서를 관리합니다.
4. 대규모 거버넌스: 사용자의 역할에 따라 세부적인 접근 권한을 제한함으로써 안전성을 강화합니다.

ZS의 플랫폼은 200개 이상의 SageMaker 도메인을 운영하고 있으며, 매일 500명 이상의 사용자가 활동합니다. 이에 따른 월 지출은 50천 달러를 넘지만, Savings Plan 할인 적용으로 상당 부분 절감하고 있습니다.

결론 및 향후 계획

ZS의 사례는 개발자의 민첩성을 유지하며 엄격한 보안 통제를 구현하는 것이 가능합니다. 향후 ZS는 Amazon SageMaker Feature Store와 Model Monitor의 도입을 고려하여, 더욱 효율적인 ML 운영을 목표로 하고 있습니다. 이러한 노력은 의료 및 생명과학 산업에서도 유사한 과제를 가진 조직들에게 유용한 모델이 될 것입니다.

[1] https://aws.amazon.com/blogs/machine-learning/how-zs-democratized-secure-ad-hoc-analytics-with-amazon-sagemaker/