서론
클라우드 환경에서 대규모 AI 모델 서비스는 기업들에게 도전을 안겨줍니다. 특히 전 세계 여러 지역에 걸쳐 배포된 모델의 용량 문제는 높은 신뢰성과 가용성을 요구합니다. 최근 아마존 SageMaker AI의 도입으로 세일즈포스는 크로스 리전 추론 라우팅을 구현하여 이러한 문제를 해결하고 있습니다. 이번 블로그에서는 세일즈포스의 사례를 통해 이 기술의 활용 방법과 구체적인 설정 예시를 소개합니다.
본론
세일즈포스의 Agentforce Foundation 팀은 전 세계 30여 개 지역에서 다양한 모델을 서비스하며, 지역별로 요구되는 용량을 개별적으로 관리했습니다. 이는 급증하는 트래픽을 효과적으로 처리 못하는 상황을 초래했고, 특정 지역의 용량 부족은 가용성 문제로 이어졌습니다. 크로스 리전 추론 라우팅 기술을 통해 세일즈포스는 지역 간 용량분산을 가능하게 했고, 이에 따라 데이터의 주 거주지를 지키며 안전한 용량 추가가 가능해졌습니다.

이 시스템은 인퍼런스 라우터를 통해 특정 모델에 대한 단일 호출 경로를 제공합니다. 라우터는 각 요청을 적합한 엔드포인트로 보내며, 엔드포인트는 이미 배포된 세일즈포스의 자체 리소스입니다. 이러한 구조는 용량 분산의 문제를 해결하는 동시에 데이터 주권을 유지할 수 있게 합니다.
결론
크로스 리전 추론 라우팅을 통해 세일즈포스는 모델 배포 지역 간 유연한 트래픽 분산을 구현했습니다. 이로써 데이터를 보호하며 용량을 효율적으로 관리할 수 있게 되었고, 가용성을 보장할 수 있었습니다. 이번 사례는 AI 및 클라우드 환경에서 고도화된 시스템 운영을 위한 유용한 지침서를 제공합니다. 궁금한 점이 있다면 아래 연락처로 문의해 주세요.
AI, Cloud 관련한 문의는 아래 연락처로 연락주세요!
(주)에이클라우드
이메일 : acloud@a-cloud.co.kr
회사 번호 : 02-538-3988
회사 홈페이지 : https://www.a-cloud.co.kr/
문의하기
