NEXUS 모델을 활용한 Amazon SageMaker JumpStart 활용 가이드

NEXUS 모델을 활용한 Amazon SageMaker JumpStart의 활용 가이드

소개
인공지능과 머신러닝은 이제 기업의 필수적인 기술자산으로 자리매김하고 있습니다. 우리는 전통적인 대형 언어 모델(LLM) 대신에, 특히 구조화된 데이터 예측을 위해 설계된 NEXUS 모델을 제공합니다. 이번 글에서는 NEXUS 모델을 Amazon SageMaker JumpStart에 배포하는 방법, 활용 사례 및 비교를 중심으로 NEXUS의 장점을 소개하겠습니다.

본론
NEXUS는 Fundamental이 개발한 모델로, 표형 데이터 분석을 전문으로 하는 대형 모델입니다. 전통적인 ML 방법론과 달리, NEXUS는 이미 수십억 개의 실제 예측 작업에 대한 사전 학습을 통해 데이터의 신호를 효과적으로 찾아냅니다.

NEXUS의 주요 특징은 다음과 같습니다:

• 결정론적 아키텍처: 일관된 결과를 제공하며, 동일한 쿼리에 대해 변하지 않는 답변을 제공합니다.
• 본질적인 표형 데이터 이해: 수십억 개의 테이블에서 학습된 데이터로, 수작업의 특징 별 엔지니어링 없이 숫자, 카테고리, 날짜 등을 자연스럽게 처리합니다.
• 비순차적 추론: 예를 들어, 고객 이탈 예측 시, 여러 요인이 이탈 확률에 미치는 영향을 이해합니다.

NEXUS의 한계 극복
기존 방법론은 많은 제약을 가지고 있습니다. 전통적 ML은 데이터 과학자들이 모델을 빌드하고 훈련하는 데 3~6개월이 소요됩니다. LLM은 비결정론적이어서 동일한 데이터 셋에 대해 다른 결과를 생성할 수 있습니다. 이러한 점에서 NEXUS는 고유한 이점을 제공합니다:

• 순열 불변성: 열 순서가 의미를 변경하지 않음을 인식합니다.
• 억 단위의 행 처리: 엄청난 양의 데이터를 처리합니다.
• 크로스 스키마 추론: 서로 다른 테이블에서 자동으로 관련 데이터를 연결합니다.
• 자율 데이터 클리닝: 불완전한 데이터 입력 시에도 예측을 수행합니다.

NEXUS의 Amazon SageMaker AI 활용
아래 이미지는 SageMaker AI에서 NEXUS 배포 및 예측 실행 흐름을 나타냅니다.

구체적인 절차는 다음과 같습니다:

1. 구독 및 배포: AWS Marketplace에서 NEXUS 모델 패키지를 구독하고 SageMaker AI 관리 추론 엔드포인트로 배포합니다.
2. SDK 설치: Fundamental Python SDK를 설치하여 SageMaker 엔드포인트와 연결합니다.
3. 데이터 업로드: Amazon S3 버킷에 표형 데이터를 업로드합니다.
4. 모델 학습: 데이터 클리닝과 특징 공학을 자동으로 처리하여 모델을 학습합니다.
5. 예측 생성: 결정론적 예측을 생성하며, 결과는 S3 버킷에 저장됩니다.

결론
NEXUS 모델은 표형 데이터 예측 작업에서 새로운 인사이트를 도출해냅니다. 장비 고장 예측, 공급망 최적화, 금융 사기 탐지 등을 포함하여 다양한 산업용 예측 작업에 활용할 수 있습니다. 최신 기술을 활용한 데이터 기반 의사 결정을 통해 생산성을 향상시킬 수 있습니다. 더 자세한 내용은 아래의 원문 링크를 참고하세요.

[1] https://aws.amazon.com/blogs/machine-learning/fundamentals-large-tabular-model-nexus-is-now-available-on-amazon-sagemaker-jumpstart/