Harmonic Security의 실시간 민감정보 탐지를 위한 저지연 생성형 AI 모델 최적화 전략

최근 생성형 AI 도입이 가속화되면서 민감한 정보 유출에 대한 보안 위협이 증가하고 있습니다. 이러한 위협에 대응하기 위해 Harmonic Security는 AWS의 지원을 받아 데이터 유출 탐지 시스템을 고도화하였으며, Amazon SageMaker, Amazon Bedrock, Amazon Nova Pro와 같은 AI 도구들을 활용하여 지연 시간이 짧고 정확도가 높은 탐지 모델을 성공적으로 구축했습니다. 본 포스트에서는 이들이 어떻게 모델을 최적화하고 실시간 처리 환경에 성공적으로 배포했는지를 배포 가이드 형식으로 소개합니다.

Harmonic Security는 기업 내부에서 민감정보(PII, 소스코드, 급여 관련 정보 등)를 효과적으로 보호하면서 외부 생성형 AI 도구 사용을 지원하기 위한 통제 계층을 구축했습니다. 초기 시스템은 8B 파라미터 대형 모델을 기반으로 정확도는 높았지만, 1~2초의 탐지 지연 시간이 있어 사용자 경험 저하 우려가 있었습니다. 이를 해결하기 위해 AWS 생성형 AI 혁신센터와 협업을 통해 지연 시간을 500ms 이하로 줄이고 정확도는 유지하는 동시에, 자동 확장 및 비용 최적화를 고려한 확장 가능한 아키텍처로 업그레이드했습니다.

핵심 기술 요소와 적용 방안

1. 낮은 지연시간을 위한 모델 압축 및 자동화 구성

Harmonic Security는 모델 지연을 줄이기 위해 ModernBERT-base 및 ModernBERT-large 모델을 Amazon SageMaker에서 배포하였습니다. 특히 SageMaker는 GPU 기반 ml.g5.4xlarge 인스턴스를 사용하여 실시간 추론도 가능케 했으며, Amazon CloudWatch를 통해 초당 요청 수에 따라 인스턴스를 1~5대까지 자동 확장할 수 있도록 Application Auto Scaling 정책을 구성했습니다.

2. 생성 데이터 기반 트레이닝 자동화

M&A, 청구 정보, 인사 기록 등 민감 데이터는 실제 수집이 어려워 Amazon Nova Pro 및 Meta Llama 3.3 모델을 사용해 높은 품질의 합성 데이터를 대량 생성했습니다. 이 과정에는 K-평균 군집화와 적응형 프롬프트, 오답 유사 케이스 포함 등 다양한 자동화 기법을 활용해 데이터 다양성과 정확도를 높였습니다.

3. 분류 모델 비교 및 최적화

단일 유형 탐지를 위한 이진 분류 모델과 여러 민감정보를 동시에 탐지하는 다중 레이블 분류 모델을 모두 구축했습니다. 이진 분류는 M&A 정보 탐지 특화로 정확도 및 F1 점수가 기존 8B 모델 대비 각각 +1.56%, +2.26% 향상되었으며, 지연 시간은 75% 이상 단축되었습니다.

반면 다중 레이블 분류는 고속성과 계산 여유 확보에는 성공했지만, 일부 정보 항목(Billing info, Sales pipeline)에 대해 정확도 저하가 관찰되어 향후 보완이 필요합니다.

4. 하이퍼파라미터 자동 탐색을 통한 최적화

Optuna 프레임워크를 활용하여 학습률, 배치크기, 드롭아웃 비율 등의 핵심 하이퍼파라미터를 자동 탐색했습니다. 이로써 모델 학습 시간이 단축되고, 성능(F1 점수)도 수작업 대비 높은 수치를 달성했습니다.

5. 성능 테스트 및 자동 확장 정책 적용

Locust 툴을 이용해 60~2000RPM의 트래픽 시나리오를 구현했고, 그 결과 1초 SLA 기준 최대 처리량은 1185RPM으로 측정되었습니다. 이에 따라 자동 확장 임계값은 830RPM으로 설정되어 웹 트래픽 변화에도 성능이 유지되도록 계획되었습니다.

결론

이번 사례는 실시간 민감정보 보호 솔루션을 어떻게 생성형 AI와 클라우드 서비스를 통합하여 구축하고 운영할 수 있는지를 보여줍니다. 핵심 개선 효과는 다음과 같습니다:

• 지연 시간 76% 감소 (평균 기준 500ms 미만)
• 처리량 최대 640% 향상 (1~5대 인스턴스 자동 조정 적용)
• 정밀도 및 정확도 모두 향상

이러한 구조는 유럽 지역 데이터 준수 요구 충족, 비용 최적화, 자동화된 배포 가이드를 고려하는 기업들에게 매우 실용적인 참조 모델이 될 수 있습니다. Harmonic Security의 솔루션은 현재 AWS Marketplace를 통해 배포 가능하며, 생성형 AI 솔루션에 대한 자동화된 데이터 보안이 필요한 조직에 적합합니다.

https://aws.amazon.com/blogs/machine-learning/how-harmonic-security-improved-their-data-leakage-detection-system-with-low-latency-fine-tuned-models-using-amazon-sagemaker-amazon-bedrock-and-amazon-nova-pro/