SageMaker HyperPod로 보안성과 유연한 스토리지를 동시에 강화하는 방법

머신러닝 인프라의 보안성과 유연한 스토리지 기능을 동시에 강화하는 SageMaker HyperPod

최근 대규모 머신러닝 모델(FM) 학습과 추론이 다양한 산업군에서 활용되며, 인프라의 보안성과 스토리지 유연성은 필수 요소로 부상하고 있습니다. 이에 따라 AWS는 SageMaker HyperPod의 지속적인 개선을 통해 최신 기업 요구사항에 부합하는 기능들을 제공하고 있는데요.

이번 글에서는 기업 환경에서 대규모 AI 워크로드를 보다 안전하고 효율적으로 운영할 수 있도록 지원하는 두 가지 강력한 기능, 즉 Customer Managed Key(CMK, 고객 관리형 키) 통합과 Amazon EBS CSI 드라이버 지원을 중심으로 SageMaker HyperPod의 활용방법과 배포 가이드를 살펴보겠습니다.

Amazon SageMaker HyperPod란?

SageMaker HyperPod는 대규모 파운데이션 모델 학습과 추론을 위한 AWS의 전문 고성능 인프라입니다. 단순한 GPU 워크로드 이상으로, EKS 기반의 오케스트레이션을 통해 확장성과 유연성을 겸비한 머신러닝 인프라를 손쉽게 구축할 수 있도록 설계되어 있습니다.

1. 고객 관리형 키(CMK) 지원을 통한 보안 강화

SageMaker HyperPod는 이제 고객이 직접 관리하는 AWS KMS 키(CMK)를 사용하여 노드에 연결된 루트 및 세컨더리 EBS 볼륨, 커스텀 AMI 이미지 등을 암호화할 수 있도록 지원합니다. 이 기능은 HIPAA, FIPS 등의 보안 규정을 준수하면서 민감 데이터에 대한 제어권을 유지해야 하는 기업 환경에 특히 중요합니다.

CMK 이용 가이드:

• 인스턴스 그룹 단위로 서로 다른 KMS 키 설정 가능
• 루트 볼륨은 CMK 지정만 가능하며 사이즈 지정은 불가
• 세컨더리 볼륨은 사이즈 지정 필수
• 커스텀 AMI는 별도로 CMK 암호화 가능하며 수정도 가능

배포 예시:

aws sagemaker create-cluster … 명령어에서 EbsVolumeConfig 섹션에 CMK를 명시적으로 적용하여 사용자의 보안 키를 기반으로 클러스터를 구성할 수 있습니다. 또한 커스텀 AMI도 EC2 Image Builder 등을 활용해 KMS 키로 암호화한 이미지를 생성해 배포할 수 있습니다.

2. Amazon EBS CSI 드라이버 지원으로 동적 스토리지 관리 실현

SageMaker HyperPod 클러스터 내에서 Amazon EBS CSI 드라이버 통합이 가능해졌습니다. 이를 통해 Kubernetes 볼륨 생성 및 확장 시, Amazon EBS를 유연하게 사용하여 대규모 데이터셋과 모델 파일을 안정적으로 처리할 수 있습니다.

적용 사례: Kubernetes 기반 애플리케이션의 예제에서는 PVC(PersistentVolumeClaim)를 활용해 동적으로 EBS 볼륨을 생성하고, 실행 중인 Pod에 적용된 저장소 사이즈를 실시간으로 확장하여 새로운 워크로드 변화에도 무중단 대응이 가능합니다.

설치 절차는 다음과 같습니다:

• eksctl로 IAM 서비스 계정 생성 후 AmazonEBSCSIDriverPolicy 권한 부여
• SageMaker와의 통합을 위한 추가 IAM 정책 인라인으로 삽입
• eks addon으로 aws-ebs-csi-driver 설치
• PVC, SC(StorageClass), Pod 배포 후 스토리지 크기 동적 조정 데모 수행

이 과정을 통해 아래와 같은 자동화된 스토리지 프로비저닝 및 크기 조절이 가능합니다.

3. SageMaker HyperPod 활용 시 고려사항 및 규칙

• 각 인스턴스 그룹은 고유한 KMS 키를 사용하는 것이 권장됩니다. 동일한 키를 여러 그룹에서 사용할 경우 키 제거(Grant Revoke) 시 예상치 못한 권한 지속 문제가 발생할 수 있습니다.
• 루트 볼륨에는 사이즈 설정이 불가능하여, SageMaker가 크기를 자동 결정합니다.
• 커스텀 AMI 적용 시 독립적인 암호화 설정이 가능하며, 후속 패치를 통해 다른 CMK로 교체도 지원합니다.

결론

이번 업데이트로 추가된 CMK 통합과 Amazon EBS CSI 드라이버 지원은 보안성과 저장소 측면에서 SageMaker HyperPod의 엔터프라이즈 적합성을 한층 강화했습니다. 특히, 대규모 AI/ML 프로젝트 운영 중 보안을 유지하면서도 유연하고 확장 가능한 저장소 구성이 필요한 조직이라면, SageMaker HyperPod는 완벽한 선택지입니다.

향후 SageMaker HyperPod 클러스터를 활용한 AI 자동화 및 배포 전략 수립 시, 이번 기능들을 적극 활용하여 경쟁력을 확보해 보시길 권장 드립니다.

https://aws.amazon.com/blogs/machine-learning/hyperpod-enhances-ml-infrastructure-with-security-and-storage/