AWS SageMaker를 활용한 멀티 AZ 고가용성 구성 가이드

AWS SageMaker를 이용한 멀티 AZ 고가용성 구성에 대한 가이드

소개

현대 비즈니스 환경에서 AI는 기업의 핵심 동력이 되고 있습니다. 하지만 AI 모델의 고가용성을 보장하는 것은 쉬운 일이 아닙니다. 특히 다양한 임무를 수행하는 AI 에이전트를 멀티 AZ(Availability Zone) 환경에서 안정적으로 운영하기 위해 무엇이 필요한지에 대해 알아보겠습니다. 이번 글에서는 AWS SageMaker를 활용한 Salesforce의 성공적인 플랫폼 구축 사례를 바탕으로 멀티 AZ 고가용성 구성에 대해 설명드리겠습니다.

본문

AWS SageMaker는 클라우드 환경에서의 AI/ML 작업을 간소화하기 위한 플랫폼으로, 이를 통해 기업은 비용 효율적으로 AI 솔루션을 확장할 수 있습니다. Salesforce는 AWS SageMaker의 Inference Components(ICs)를 이용해 GPU 비용을 절감하며, 이와 동시에 멀티 AZ 환경에서의 고가용성을 달성하고자 했습니다.

멀티 AZ 환경에서의 고가용성을 위해 Salesforce는 새로운 IC Placement 기능을 활용했습니다. 이 기능은 SchedulingConfig 파라미터를 통해 각 인스턴스와 AZ에 걸쳐 IC 복사본을 균형 있게 배치할 수 있도록 지원합니다. 주요 파라미터로는 AvailabilityZoneBalance와 PlacementStrategy가 있으며, 각각의 파라미터는 복사본의 크로스 AZ 배포와 인스턴스 내의 배치를 조절합니다.

코드 예시: 멀티 AZ 고가용성 배치를 위한 IC 배포

response = client.create_inference_component(
    InferenceComponentName='salesforce-llm-ic-ha',
    EndpointName='salesforce-multiaz-endpoint',
    ...
    'SchedulingConfig': {
        'PlacementStrategy': 'SPREAD',
        'AvailabilityZoneBalance': {
            'EnforcementMode': 'PERMISSIVE',
            'MaxImbalance': 1
        }
    },
    RuntimeConfig={'CopyCount': 4}
)

위 코드에서는 SPREAD 전략과 AvailabilityZoneBalance 파라미터가 사용되어, 각 AZ에 IC 복사본을 고르게 분배하는 방식을 보여줍니다.

결론

AWS SageMaker의 IC Placement 기능을 통해 Salesforce는 멀티 AZ 환경에서 고가용성 요구사항을 충족할 수 있었습니다. 이는 비용 효율성을 유지하면서도 모든 모델 배포가 AZ 장애로부터 안전할 수 있는 환경을 구축하는 데 기여하였습니다.

멀티 AZ 고가용성은 이제 기업들이 놓칠 수 없는 필수 요건입니다. AWS SageMaker를 활용하여 이 목표를 달성할 수 있기를 바랍니다.

[1] https://aws.amazon.com/blogs/machine-learning/spreading-the-load-how-salesforce-met-multi-az-ha-with-sagemaker-inference-components/