Amazon SageMaker Feature Store 새로운 기능 소개

Amazon SageMaker Feature Store의 새로운 기능 소개

오늘날 머신러닝 모델의 성능 향상을 위해 많은 조직들이 Amazon SageMaker Feature Store를 활용하고 있습니다. 최근 Amazon SageMaker Feature Store에 새로운 기능들이 추가되면서 머신러닝 기능 파이프라인의 속도를 더욱 향상시킬 수 있게 되었습니다. 이 글에서는 이러한 새로운 기능들과 그 활용 방법을 소개합니다.

주요 기능 및 활용 사례

Amazon SageMaker Feature Store는 ML 모델의 특징을 저장하고 관리할 수 있는 완전 관리형 저장소입니다. 최근에는 Apache Iceberg 테이블 형식과 스트리밍 수집, 확장 가능한 대량 수집, AWS Lake Formation을 통한 세분화된 접근 제어 기능을 지원하게 되었습니다.

많은 기업들이 ML 플랫폼을 실험 단계에서 프로덕션 단계로 확장하면서 데이터 보안과 저장 비용 예측이 중요한 과제로 부각되었습니다. 예를 들어, 한 소매 분석팀은 Apache Iceberg 기반 오프라인 저장소에 50TB 이상의 메타데이터 파일이 쌓이면서 예상치 못한 AWS S3 비용이 발생했습니다.

이를 해결하기 위해 SageMaker Python SDK v3.8.0에서는 다음과 같은 기능이 추가되었습니다:

1. AWS Lake Formation과의 통합: 표 그룹 생성 시 또는 기존 표 그룹에 대해 자동으로 열 수준, 행 수준, 셀 수준 접근 제어를 설정할 수 있습니다.
2. Apache Iceberg 테이블 속성 추가: 메타데이터 유지 및 스냅샷 수명 주기 정책을 설정하여 저장 비용을 절감합니다.
3. SageMaker Python SDK v3의 기능 스토어 지원: 새로운 기능을 가볍고 빠르게 사용할 수 있도록 모듈화된 SDK가 제공됩니다.

결론

Amazon SageMaker Feature Store의 새로운 기능들은 머신러닝 파이프라인의 보안성 강화 및 비용 효율성을 늘리는 데 큰 도움을 줍니다. AWS Lake Formation을 통한 접근 제어를 자동화하고 Iceberg 수명 주기 설정을 통해 저장 비용을 효과적으로 관리할 수 있습니다. SageMaker Python SDK v3.8.0으로 업그레이드하여 이러한 기능들을 활용하는 것을 추천합니다.

[1] https://aws.amazon.com/blogs/machine-learning/accelerate-ml-feature-pipelines-with-new-capabilities-in-amazon-sagemaker-feature-store/