메뉴 닫기

AWS SageMaker JumpStart 모델 리더보드 소개

AWS SageMaker JumpStart 모델 리더보드 소개

아마존 웹 서비스(AWS)는 AI 모델을 보다 쉽게 비교하고 배포할 수 있는 SageMaker JumpStart 모델 리더보드를 새롭게 도입하였습니다. 이 혁신적인 기능은 모델 선택의 복잡성을 줄이고, 다양한 기준에서 모델을 평가할 수 있도록 도와줍니다. 이번 블로그 포스트에서는 JumpStart 모델 리더보드의 활용 방법, 주요 개념 및 실제 사례를 다루며, 이를 통해 AI 모델 최적화의 새로운 가능성을 탐색합니다.

JumpStart 모델 리더보드는 SageMaker Studio에서 대규모 언어 모델(LLM)을 중심으로 모델을 품질, 속도 및 비용 측면에서 비교할 수 있는 새로운 뷰입니다. 각 모델은 AWS가 직접 수행하는 공공 벤치마크 점수와 성능 및 비용 지표를 제공합니다. 모든 모델에 대해 동일한 평가 설정을 사용해 기록된 데이터이기 때문에, 사용자들은 손쉽게 동일 조건 하에 모델을 비교할 수 있습니다.

리더보드의 주요 내용

  1. 품질 점수: BIG-Bench Hard, GPQA Diamond, MMLU-Pro 등 세 가지 공공 벤치마크를 통해 평가된 모델의 품질 점수를 제공합니다. 이러한 벤치마크 점수는 각 모델의 논리적 추론 능력 및 다양한 문제 해결 능력을 평가합니다.

  2. 성능 및 비용 지표: 각 JumpStart 배포 설정을 사용하여 엔드포인트에 표준화된 테스트 워크로드를 보내고, 모델의 응답 속도 및 운영 비용을 측정합니다.

SageMaker JumpStart 모델 리더보드는 70개 이상의 모델을 Meta, Google, Qwen, IBM, Arcee 등이 제공하며, 앞으로 더욱 확장될 예정입니다.

실제 사례: 챗봇 모델 선택

내부 헬프 데스크 지원 시스템을 구축한다고 가정했을 때, 빠르고 정확한 응답을 제공할 수 있는 상업적 라이센스를 가진 모델이 필요합니다. 리더보드를 이용해 라이센스를 필터링하고, 'Latency optimized' 구성의 모델을 선택하면 비용 예측이 용이합니다. 모델 A와 비교하여 모델 B는 비슷한 수준의 논리적 추론 능력을 보이며 더 작은 인스턴스에서 실행되므로 비용 효율성이 높습니다. 이러한 접근 방식으로 필요에 맞는 최적의 모델을 손쉽게 선정할 수 있습니다.

결론적으로, SageMaker JumpStart 모델 리더보드는 AI 모델 평가를 위한 새로운 차원의 기준을 제공하며, AWS 사용자가 보다 간편하고 전략적으로 AI 모델을 배포할 수 있도록 지원합니다. SageMaker Studio에서 리더보드 뷰를 열어, 여러분의 워크로드에 맞는 2~3개의 모델을 선정한 후, 최적의 모델을 프로덕션 환경에서 사용해 보세요.

[1] https://aws.amazon.com/blogs/machine-learning/introducing-the-amazon-sagemaker-jumpstart-model-leaderboard/