아마존 SageMaker JumpStart에서 Meta의 Llama 3.1 모델 활용하기
안녕하세요, AI 및 머신러닝에 관심이 있는 분들께 흥미로운 소식을 전합니다. Meta의 최신 Llama 3.1 다국어 대형 언어 모델(LLM)을 아마존 SageMaker JumpStart를 통해 사용할 수 있게 되었다는 소식입니다. 이 글에서는 Llama 3.1 모델을 SageMaker JumpStart에서 어떻게 발견하고 배포할 수 있는지에 대해 알아보겠습니다.
Llama 3.1 모델 개요
Llama 3.1은 사전 훈련된 생성적 모델들의 집합으로, 8B, 70B, 405B 규모로 제공됩니다. 이 모델들은 긴 컨텍스트 길이(128,000)를 지원하며, 최적의 추론 성능을 위해 그룹 쿼리 주의(GQA)를 지원합니다. 또한, Llama 3.1은 다국어 대화 사용 사례에 적합하게 최적화된 모델입니다.
Llama 3.1 모델의 기본 아키텍처는 고도화된 트랜스포머 구조를 사용하며, 감독 학습(SFT)과 인간 피드백 기반 강화 학습(RLHF)를 통해 인간 선호에 맞춘 조정을 받았습니다.
SageMaker JumpStart 개요
SageMaker JumpStart는 공개적으로 이용 가능한 강력한 기초 모델들을 제공하며, 다양한 활용 사례에 맞게 깊이 있게 커스터마이즈할 수 있습니다. 모델들은 AWS 전용 인스턴스에서 운영되며, 데이터 보안과 컴플라이언스를 위해 고객의 VPC 내에서 안전히 운영됩니다.
JumpStart를 통해 손쉽게 FMs를 인식하고 활용할 수 있으며, 확장성과 비용 절감에 큰 이점을 제공합니다.
SageMaker JumpStart에서 Llama 3.1 모델 발견하기
JumpStart에는 Amazon SageMaker Studio와 SageMaker Python SDK 두 가지 주요 인터페이스가 존재합니다. SageMaker Studio는 머신러닝(ML) 개발 생애 주기의 모든 측면을 위한 통합 웹 기반 인터페이스를 제공합니다. 이를 통해 다양한 모델을 쉽게 탐색하고 추론 능력을 갖춘 모델을 배포할 수 있습니다.
Python SDK를 통해서는 더욱 유연한 통합이 가능하여, 기존의 AI 및 ML 워크플로우와 자연스럽게 접목할 수 있습니다.
SageMaker JumpStart를 통한 Llama 3.1 모델 배포
SageMaker JumpStart의 메인 페이지에서 솔루션, 모델, 노트북 등을 탐색할 수 있으며, Foundation Models의 텍스트 생성 캐러셀에서 Llama 3.1 모델을 찾을 수 있습니다.
배포를 위해서는 'Deploy' 버튼을 선택하여 모델을 바로 사용할 수 있으며, 노트북을 열어 전체 배포 과정을 안내받을 수도 있습니다.
Python SDK를 이용한 프로그램 내 배포의 경우, 아래와 같은 코드를 사용합니다:
from sagemaker.jumpstart.model import JumpStartModel
model = JumpStartModel(model_id = "meta-textgeneration-llama-3-1-405b-fp8")
predictor = model.deploy(accept_eula=True)
이 코드는 SageMaker 상에서 모델을 기본 설정으로 배포합니다. 이후에는 SageMaker predictor를 통해 배포된 엔드포인트에 대한 추론을 수행할 수 있습니다.
결론
이번 블로그 포스트를 통해 SageMaker JumpStart를 사용하여 Llama 3.1 모델을 손쉽게 발견하고 배포하는 방법을 다뤄보았습니다. SageMaker JumpStart에서 바로 사용할 수 있는 이러한 모델들은 개발자, 연구자, 기업들이 AI 아이디어를 발전시켜 나가는데 큰 도움을 줄 것입니다. 지금 바로 SageMaker JumpStart와 Llama 3.1 모델을 만나보세요!
원문 블로그 게시물 링크 [1]
AI, Cloud 관련한 문의는 아래 연락처로 연락주세요!
(주)에이클라우드
이메일 : acloud@a-cloud.co.kr
회사 번호 : 02-538-3988
회사 홈페이지 : https://www.a-cloud.co.kr/
문의하기