AWS Transit Gateway 기반 멀티 테넌트 생성형 AI 아키텍처 구축 가이드

기업을 위한 생성형 AI 확장: AWS Transit Gateway 기반 멀티 테넌트 허브 앤 스포크 아키텍처 활용 가이드

도입

생성형 AI는 이제 단순한 실험 단계에서 벗어나, 실제 비즈니스의 핵심 업무에 통합되는 방향으로 급속히 확장 중입니다. 특히 다양한 고객과 팀, SaaS 서비스를 대상으로 서비스를 제공하는 기업은 생성형 AI 시스템의 확장성과 보안성을 동시에 충족시키는 구조가 필수적입니다. AWS에서는 이러한 요구를 반영하여 멀티 테넌트 환경에서 높은 활용성과 보안성을 제공하는 허브 앤 스포크 아키텍처(hub and spoke architecture)를 제안하고 있습니다.

이번 글에서는 AWS의 Transit Gateway를 기반으로 하는 멀티 계정 운영 방식과 함께, 인증·인가·모델 접근·네트워크 보안을 중앙화하면서도 테넌트별 격리를 유지할 수 있는 자동화 및 배포 가이드, 비교 구조 등을 포함한 실전 사례를 중심으로 살펴봅니다.

본론

1. 멀티 테넌트 AI 구축의 과제와 AWS의 대응 전략

생성형 AI의 기업 내 확산에 따라 공통 요구사항도 증가하고 있습니다. 대표적으로 다중 테넌트, 격리, 인증·인가, 안전한 네트워킹, 캐시, 속도 제한 등이 있습니다. AWS는 이러한 요구에 효과적으로 대응하기 위해 멀티 계정 기반의 구조를 권장합니다. 허브 계정은 공통 서비스를 중앙에서 처리하며, 각 스포크(Spoke) 계정은 테넌트에 특화된 리소스를 관리합니다.

2. 아키텍처 구성 요소 및 활용 방법

• 허브 계정: Amazon Cognito를 통한 사용자 인증, ALB(Application Load Balancer)를 통한 요청 라우팅, Lambda를 사용한 호출 로직 및 역할 위임 처리를 담당합니다.
• 스포크 계정: Amazon Bedrock 모델, IAM Role, VPCE 등을 개별 테넌트에 대해 분리하여 운영합니다. 각 계정은 Amazon Transit Gateway로 연결되어 안전한 통신을 보장합니다.

이 구조를 활용하면 인증 및 라우팅은 허브에서 중앙 관리하면서도, 각 테넌트는 자체 계정에서 격리된 형태로 모델을 호출하고 비용, 권한, 보안 정책을 독립적으로 유지할 수 있게 됩니다.

3. 실제 구축 사례 및 배포 단계 안내

실제 구현 예제에서는 amazon.titan-text-lite-v1 모델과 함께 첫 번째 테넌트를 연결하고, 후속적으로 anthropic.claude-3-haiku 모델을 사용하는 두 번째 테넌트를 추가하여 구성 확장을 테스트합니다.

Lambda는 테넌트별로 1:1로 매핑되며, 이로써 노이즈 네이버 문제를 줄이고 테넌트별 설정 커스터마이징이 가능해집니다. 이러한 방식은 향후 프롬프트 캐싱, LLM Proxy 등의 기능 구현 시에도 확장성을 제공합니다.

4. 배포 자동화 및 구성 조건

배포는 CloudFormation 기반이며, 사전 준비해야 할 요소는 다음과 같습니다.

• 허브 계정 1개, 스포크 계정 1~2개
• Amazon Bedrock 모델 접근 권한
• AWS CLI 환경 설정
• 사용자 및 테넌트 정보 등록을 위한 Cognito 및 DynamoDB 구성

단계적으로 스택 생성을 통해 허브와 스포크 환경을 구성하며, curl 명령어를 통해 EC2에서 직접 연결 테스트가 가능합니다.

5. 설계 고려사항 및 구성 선택지 비교

• 컴퓨팅: Lambda 외 Amazon ECS, EKS 사용 가능
• 게이트웨이: ALB vs. API Gateway vs. AppSync 등 비교하여 선택
• VPC 엔드포인트: 각 계정 전용 vs. 중앙화 방식 – 보안 정책, 비용, 구성 복잡도에 따라 선택 가능
• 테넌시 모델: 실로(silo) vs. 풀(pool), 조직 규모와 요구사항에 따라 선택해야 함

결론

생성형 AI의 확산 속도에 맞춰, AWS는 확장성과 보안성을 모두 만족하는 구조적 대응을 제공합니다. 특히 허브 앤 스포크 방식은 효율적인 테넌트 관리와 확장 가능한 아키텍처 구성에 최적화되어 있으며, 배포 가이드와 자동화 구성도 잘 정리되어 있어 대기업 또는 SaaS 개발사에 매우 유용합니다.

다수의 테넌트를 관리하며 LLM을 안정적으로 배포하고자 하는 조직은 본 아키텍처를 참고하여 조직단위 또는 계열사 단위의 분리 운영을 손쉽게 실현할 수 있습니다. 다음 파트에서는 AWS PrivateLink를 통해 전용 네트워크를 구성하는 변형 아키텍처를 다룰 예정입니다.

[1] https://aws.amazon.com/blogs/machine-learning/scale-generative-ai-use-cases-part-1-multi-tenant-hub-and-spoke-architecture-using-aws-transit-gateway/