Amazon SageMaker와 FHE를 이용한 암호화된 기계 학습 추론

Amazon SageMaker와 FHE를 활용한 완전 암호화된 기계 학습 추론

기계 학습(ML) 추론은 의료 기록, 특허 정보 또는 개인 통신과 같은 민감한 데이터를 처리할 때가 많습니다. 그렇다면 클라우드에서 데이터를 숨긴 상태로 ML 추론을 수행할 수 있다면 어떨까요? 특히 데이터가 전체 ML 추론 과정 동안 암호화 상태를 유지하도록 할 수 있다면 더욱 좋을 것입니다. 이번 글에서는 Amazon SageMaker AI와 완전 동형 암호화(FHE)를 이용하여 어떻게 ML 추론을 수행할 수 있는지를 보여줍니다.

FHE는 데이터를 복호화하지 않고도 그대로 암호화된 상태에서 처리할 수 있는 암호화 기술입니다. ML 추론 환경에서 이를 이용하면 모델을 암호화된 쿼리에 적용하여 복호화 없이 암호화된 예측을 생성할 수 있습니다. 이러한 기능이 유용한 사례로는 다음과 같은 것이 있습니다:

• 의료 분야: 건강 보험 회사는 진단 데이터를 기반으로 의료 절차 결과를 예측하는 ML 모델을 의사에게 제공하고자 합니다. 클라우드에 모델을 게시하면 배포가 간소화되지만, 환자의 의료 정보를 제3자에게 노출할 수는 없습니다.
• 에너지 부문: 한 석유 및 가스 회사는 인공위성 사진을 ML로 평가하여 중요한 시추지를 선택하고자 합니다. 비용 절감 목적으로 클라우드에 모델을 호스팅하고 싶지만, 정치적으로 민감한 장소의 사진을 제3자에게 노출할 수 없습니다.
• 통신 분야: 통신 사업자는 스팸 및 피싱 감지를 위해 고객 이메일을 처리하고자 합니다. 클라우드 기반 ML이 필요하지만, 고객 메시지는 제3자에게 암호화 상태로 유지되어야 합니다.

이 블로그에서는 FHE 기반 추론을 Amazon SageMaker 엔드포인트를 통해 안전하고 실시간으로 가능하게 하는 방법을 소개한 적이 있습니다. 이번 글에서는 이를 한 단계 더 발전시킨 기법을 제시합니다. 이전 글에서는 SEAL이라는 저수준 라이브러리를 사용하여 FHE 기반 추론을 ‘처음부터’ 구현하는 방법을 설명했고, 이번에는 구체적인-ml이라는 고수준 라이브러리를 기반으로 보다 유연하고 높은 수준의 접근법을 소개합니다. 이 라이브러리는 여러 일반적인 유형의 모델을 즉시 지원하며, 유명한 ML 라이브러리인 scikit-learn과도 API 호환성이 있습니다.

이 글을 통해 다음을 배울 수 있습니다:

1. SageMaker AI에서 커스텀 컨테이너를 이용하여 concrete-ml 모델을 훈련하기
2. 이 모델을 SageMaker AI 추론 엔드포인트에 배포하기
3. concrete-ml 추론을 위한 커스텀 클라이언트 생성하기
4. 이 클라이언트를 이용하여 추론 엔드포인트에 쿼리를 전송하기

이 과정이 끝나면, SageMaker AI에서 concrete-ml를 사용하여 처음부터 끝까지 암호화된 상태로 ML 추론을 수행할 수 있는 시스템을 갖추게 될 것입니다.

솔루션 개요

SageMaker AI에서 concrete-ml를 사용한 과정은 다음과 같습니다:

1. 모델 소유자는 훈련 데이터를 준비합니다. 모든 특성이 동일한 스케일로 정규화된 데이터를 사용하는 것이 좋습니다.
2. 모델 소유자는 이 데이터를 이용하여 FHE가 적용된 모델을 훈련합니다.
3. 훈련된 모델을 SageMaker AI에 호스팅합니다.
4. 클라이언트는 모델이 지원하는 FHE 스킴을 사용해 쿼리를 암호화합니다.
5. 암호화된 쿼리를 클라우드의 FHE 적용 모델에 전송합니다.
6. FHE 연산 동안 값을 복호화하지 않고 암호화된 쿼리를 암호화된 예측으로 변환합니다.
7. 모델은 암호화된 응답을 클라이언트에게 반환하고, 클라이언트는 이를 복호화하여 예측값을 얻습니다.

이는 Amazon Nitro System에서 제공하는 비밀 컴퓨팅 환경과는 다릅니다. FHE는 하드웨어나 소프트웨어가 아닌 수학에 기반한 보안을 제공합니다.

---

[1] https://aws.amazon.com/blogs/machine-learning/end-to-end-encrypted-ml-inference-with-amazon-sagemaker-ai-and-fhe/