활용 사례: Muse Spark Open 모델과 Amazon SageMaker JumpStart

Muse Spark Open과 Amazon SageMaker JumpStart로 인공지능 모델 활용하기

Amazon SageMaker JumpStart는 인공지능 모델을 개발하고 배포할 수 있는 강력한 플랫폼입니다. 이 블로그에서는 Meta의 Muse Spark Open 모델을 SageMaker JumpStart에서 배포하는 방법에 대해 다루겠습니다. 이 모델은 에이전트 기반 코딩 워크플로우에 최적화되어 있으며, 다양한 입력 모달리티를 통해 코드를 이해하고 변환할 수 있습니다.

Muse Spark Open 소개

Meta가 제공하는 Muse Spark Open은 코딩에 최적화된 인공지능 모델로, 복잡한 코드 베이스를 이해하고 변환할 수 있습니다. 이 모델은 8160억 개의 매개변수를 가지고 있으며, 각 토큰에 대해 42억 개의 매개변수가 활성화됩니다. 이러한 구조 덕분에 모델은 대규모 네트워크의 용량을 가지면서도 보다 적은 연산으로 작동할 수 있습니다.

SageMaker JumpStart를 통한 모델 배포

Muse Spark Open 모델은 SageMaker Studio를 통해 쉽게 배포할 수 있습니다. 다음은 모델을 배포하는 과정입니다.

1. SageMaker Studio 접속: SageMaker Studio에 접속합니다.
2. 모델 검색: JumpStart의 검색창에서 "Muse Spark Open"을 입력합니다.
3. 모델 선택 및 배포: 검색 결과에서 BF16 또는 NVFP4 변형 중 하나를 선택하고 배포 옵션을 눌러 모델 배포를 시작합니다.

배포가 완료되면 SageMaker AI 콘솔에서 상태가 'InService'로 변경되며, 인퍼런스 요청을 받을 준비가 된 것입니다.

SageMaker Python SDK를 통한 코드 예제

SageMaker Python SDK를 사용하여 NVFP4 변형 모델을 배포할 수도 있습니다.

from sagemaker.core.jumpstart.configs import JumpStartConfig
from sagemaker.serve import ModelBuilder
from sagemaker.train.configs import Compute

model_id = "meta-vlm-muse-spark-open-816b-a42b-nvfp4"
jumpstart_config = JumpStartConfig(
    model_id=model_id,
    accept_eula=True,
)

model_builder = ModelBuilder.from_jumpstart_config(
    jumpstart_config=jumpstart_config,
    compute=Compute(instance_type="ml.p5e.48xlarge"),
)

model = model_builder.build(model_name="muse-spark-open-nvfp4")
endpoint = model_builder.deploy(endpoint_name="muse-spark-open-nvfp4")

결론

Muse Spark Open 모델을 Amazon SageMaker JumpStart를 통해 배포함으로써 코드 베이스 이해 및 변환에 강력한 도구를 사용할 수 있습니다. SageMaker Studio와 Python SDK를 통해 쉽게 사용 가능하며, 다양한 인공지능 워크플로우에 적합한 솔루션을 제공할 수 있습니다.