멀티 테넌트 LLM 보안 에이전트 구축 방법

멀티 테넌트 LLM 분석 시스템: AWS에서 보안 에이전트 구축의 방법

AWS를 활용해 안전하고 신뢰할 수 있는 멀티 테넌트 분석 시스템을 구축하고자 하는 개발자들을 위해, PAR Technology에서 구축한 보안 에이전트의 사례를 소개합니다. 최근 LLM(대규모 언어 모델)을 활용해 자기 주도형 SQL 분석을 가능하게 하는 시스템을 제작 했는데, 여기서 중요한 점은 각 사용자에게 맞춘 데이터 접근과 보안입니다. 이러한 시스템을 구현하기 위해 어떤 구조가 필요한지 알아보겠습니다.

핵심 내용 및 사례

1. 목표: 비기술직 사용자가 쉽게 자연어로 질문하고 데이터 기반의 응답을 받을 수 있는 시스템을 구축하는 것으로 시작되었습니다. 이를 위해서는 데이터의 정확한 처리와 보안이 중요합니다.

2. 문제 해결을 위한 아키텍처: PAR는 세 가지 레이어로 구성된 아키텍처를 구현했습니다.

   • 암호화 요청 서명: AWS SigV4를 사용하여 요청을 암호화하고 유효성을 검증합니다.
   • 의미론적 검증: Amazon Bedrock을 사용해 입력 내용이 사업적 지표와 맞는지 검증합니다.
   • 프로그램적 데이터 분리: SQL 생성 중에 Split-Plane SQL 아키텍처를 사용해 데이터 격리를 시행합니다.

3. 사용 사례: 사용자가 동일한 질문을 해도 역할에 따라 다른 데이터 결과를 보장해야 합니다. 예를 들면, 프랜차이즈 소유자와 브랜드 관리자가 서로 다른 데이터를 받도록 시스템을 디자인했습니다.

결론

이 시스템은 문맥적 데이터 접근을 제공하면서도 데이터 노출 위험을 줄일 수 있는 아키텍처를 통해 사용자에게 효과적이고 안전한 셀프 서비스 분석 환경을 제공합니다. 이러한 보안 구조는 멀티 테넌트 환경에서 매우 중요하며, 이를 통해 기업은 민감한 데이터를 보호하면서도 광범위한 사용자가 시스템을 활용할 수 있도록 지원합니다.

[1] https://aws.amazon.com/blogs/machine-learning/multi-tenant-llm-analytics-with-row-level-security-how-we-built-a-secure-agent-on-aws/