머큐리 모델을 Amazon Bedrock과 SageMaker JumpStart에서 활용하는 방법

머큐리 기반 모델을 Amazon Bedrock Marketplace와 SageMaker JumpStart에서 활용하는 방법

최근 AWS는 Inception Labs에서 개발한 Mercury 및 Mercury Coder 기초 모델(Foundation Models, FM)을 Amazon Bedrock Marketplace와 SageMaker JumpStart에서 사용할 수 있도록 출시했습니다. 이번 블로그에서는 이 강력한 모델을 어떻게 활용할 수 있고, 자동화된 배포 및 비교를 통해 어떤 이점을 제공하는지 자세히 살펴보겠습니다.

머큐리 기초 모델 소개

머큐리 모델은 상업용 규모의 확산 기반 언어 모델로, 생성 속도와 품질 면에서 기존 오토리그레시브 모델보다 월등한 성능을 자랑합니다. 주요 특징은 다음과 같습니다:

• 디퓨전 방식을 기반으로한 병렬 토큰 생성
• 최대 초당 1,100토큰 생성 (NVIDIA H100 GPU 기준)
• 파이썬, 자바, 자바스크립트 등 다양한 언어 코드 생성 지원
• 코드 자동 완성과 편집에 최적화된 Fill-in-the-middle 성능
• 최대 128,000 토큰 길이 지원
• 트랜스포머 아키텍처 기반으로 기존 ML 인프라와 호환

Amazon Bedrock Marketplace에서의 활용

Amazon Bedrock Marketplace는 모델 검색부터 배포까지 통합된 인터페이스를 제공하여 빠른 AI 애플리케이션 개발을 지원합니다. 어떤 기능을 제공하는지 확인해보면 다음과 같습니다:

• 다양한 모델 선택지 제공
• Converse API를 통한 단일 API 사용 경험
• Amazon Bedrock Agents, Guardrails, Flows 등과 통합 가능
• 관리형 인프라 기반의 자동 확장 및 안정적인 성능 제공

배포 가이드는 다음과 같이 진행됩니다:

1. Amazon Bedrock 콘솔의 Foundation Models에서 Catalog 페이지로 이동합니다.
2. ‘Inception’을 공급자로 필터하여 Mercury 모델 선택
3. 모델 상세 페이지에서 ‘Subscribe’ 클릭
4. 배포 세부 사항 설정: 엔드포인트 이름, 인스턴스 수와 유형 (예: ml.p5.48xlarge)
5. 고급 설정(VPC, IAM 역할, 암호화 설정)은 선택사항
6. ‘Deploy’ 클릭으로 배포 시작

SageMaker JumpStart로의 활용

SageMaker JumpStart는 사전 학습된 모델을 몇 클릭 만으로 배포하고 AI 파이프라인에 통합할 수 있습니다. Mercury 모델 또한 SageMaker Studio나 파이썬 SDK를 이용해 배포할 수 있습니다.

• SageMaker Studio 내 모델 카탈로그에서 Mercury 또는 Mercury Coder 선택
• ‘Deploy’ 클릭 시 AWS Marketplace를 통한 구독 확인 후 배포 진행
• 엔드포인트 생성 확인 후 테스트 수행

프로그래밍 방식 배포(자동화 활용)도 가능합니다:

endpoint_name = name_from_base("mercury-endpoint")
model = ModelPackage(role=role_arn, model_package_arn=package_arn, sagemaker_session=sagemaker_session)
deployed_model = model.deploy(initial_instance_count=1, instance_type="ml.p5.48xlarge", endpoint_name=endpoint_name)

타 모델 대비 활용 및 성능 비교

머큐리 모델은 다른 대형 언어 모델 대비 다음의 차별점을 가집니다:

• 오토리그레시브 방식 대비 최대 10배 빠른 응답속도
• 코딩 중심의 모델 구성 (다수 프로그래밍 언어 지원)
• 도구 사용 훈련된 튜닝 가능성
• 최대 토큰 길이 지원 (128K) → 긴 문서 요약/검색 등에 유리

자동화된 도구 호출 & 함수 실행

머큐리 모델은 외부 함수 호출과 계산 기능을 자동으로 판단해 실행할 수 있습니다. 예를 들어 여행 계획 질문에 날씨 조회와 환율 계산을 병합 실행하는 등 워크플로우 자동화가 가능합니다.

Tic-Tac-Toe 게임 생성 실사례

머큐รี่ 모델을 사용해 간단한 명령어만으로 HTML, CSS, JavaScript 기반의 틱택토 게임 전체를 자동으로 생성할 수 있습니다.

• 완전한 소스 코드 제공
• Minimax 알고리즘 기반의 AI 적용
• 인터랙션 기능 완비
• 초당 528 토큰 생성 속도로 빠른 결과

사용된 프롬프트 및 출력 속도 역시 시스템 자동화 테스트에 이상적입니다.

정리 및 클린업 안내

모델을 사용 후 불필요한 비용 발생을 방지하려면 다음 리소스를 삭제해야 합니다:

• Amazon Bedrock에서 배포한 엔드포인트는 ‘Marketplace Deployments’에서 삭제
• SageMaker JumpStart의 경우 다음 명령어 실행:

  sm.delete_model(ModelName=sm_model_name)
  sm.delete_endpoint_config(EndpointConfigName=endpoint_config_name)
  sm.delete_endpoint(EndpointName=endpoint_name)
  

결론

Mercury 모델은 다양한 프로그래밍 언어와 코드 완료 기능, 그리고 고속 생성 능력까지 갖춘 새로운 세대의 디퓨전 기반 모델입니다. Amazon Bedrock Marketplace와 SageMaker JumpStart는 이 모델의 활용과 배포를 훨씬 쉽게 만들어 줍니다. 다양한 유즈케이스에 맞춰 미세조정 없이 빠르게 적용할 수 있으며, 자동화와 보안 측면까지 통합된 클라우드 경험을 제공합니다.

지금 바로 SageMaker Studio의 JumpStart에서 Mercury 모델을 체험해 보세요!

https://aws.amazon.com/blogs/machine-learning/mercury-foundation-models-from-inception-labs-are-now-available-in-amazon-bedrock-marketplace-and-amazon-sagemaker-jumpstart/