Amazon SageMaker AI로 대규모 언어모델 학습과 평가 자동화하기

아마존 SageMaker AI의 새로운 기능으로 LLM 학습과 평가 자동화하기

최근 생성형 AI 기술이 급속도로 발전함에 따라, 고품질의 데이터셋 구축과 모델 성능 향상은 기업 및 개발자들에게 중요한 과제가 되고 있습니다. 이에 AWS는 Amazon SageMaker AI를 통해 대규모 언어모델(LLM)의 학습과 평가를 위한 새로운 도구 두 가지, '텍스트 랭킹(Text Ranking)' 및 '질문과 응답(Question & Answer)' UI 템플릿을 출시하였습니다. 이 블로그에서는 해당 기능의 활용 방법과 실제 배포 가이드를 살펴보며, 생성형 AI 프로젝트에서 어떻게 활용 가능한지 소개합니다.

텍스트 랭킹 템플릿 활용법

텍스트 랭킹 템플릿은 인간 주석자가 다수의 LLM 응답을 사용자 정의 기준(관련성, 명확성, 사실성 등)에 따라 순위를 매길 수 있도록 구성되어 있습니다. 이렇게 수집된 피드백은 인적 피드백 기반 강화학습(RLHF)에 활용되어, 사용자 지향적인 모델 응답을 유도할 수 있습니다.

설정 방법은 SageMaker Ground Truth 콘솔에서 라벨링 작업을 생성하면서 다음 순서로 진행합니다:

• 라벨링 작업 생성 시, 수동 데이터 설정(Manual Data Setup)을 통해 프롬프트와 여러 모델 응답이 포함된 JSON 파일 업로드
• 작업 유형(Task Type)에서 새롭게 추가된 'Generative AI' 선택 후, Text Ranking UI 지정
• 평가 기준(도움성, 명확성 등) 정의 및 동일한 점수 동점 허용 여부 설정

응답 데이터는 S3에 저장되며, 각 참여자의 평가 결과는 JSON 형태로 저장되어 후처리를 통해 학습 데이터셋으로 활용할 수 있습니다. 자동화를 고려한다면 SageMaker CreateLabelingJob API를 통해 배포 프로세스를 쉽게 통합할 수 있습니다.

질문과 응답 템플릿 활용법

Question and Answer 템플릿은 주어진 텍스트로부터 적절한 질문과 답변 쌍을 작성하게 하여, 감독학습(Supervised Fine-Tuning, SFT) 목적의 고품질 학습 데이터를 생성할 수 있도록 지원합니다. 주석자는 특정 문단 또는 전체 텍스트를 참고해 질문을 만들고, 관련 답변을 인간 직관에 따라 작성합니다.

구성 방법은 다음과 같습니다:

• 입력 JSON 파일에는 source 필드에 텍스트 본문 기재
• 자동 또는 수동 설정으로 데이터 입력 가능
• UI 설정 시, 질문-답변 개수 제한, 단어 수, 질문 유형 태그 설정 가능
• 맞춤형 태그 사용 허용 옵션으로 더욱 유연한 데이터셋 구축 지원

이 역시 결과는 S3에 저장되며, 라벨링된 Q&A 출력 파일을 활용해 LLM의 추론 정확도를 향상시킬 수 있습니다.

API 자동화 및 비교 활용

SageMaker AI는 콘솔 기반의 손쉬운 배포 외에도 API 기반의 자동화 기능을 제공합니다. CreateLabelingJob API를 이용하면 사용자 맞춤형 워크플로우에 라벨링 작업을 손쉽게 통합할 수 있고, 정해진 템플릿 기반으로 반복적인 딥러닝 데이터 수집 작업을 체계화할 수 있습니다.

특히 RLHF와 SFT 모두를 대비한 인적 피드백 기반 학습 데이터 생성이 가능한 점에서 TextRank와 Q&A 기능은 상호보완적으로 작동하며, 정확한 기준으로 평가-피드백 루프를 구성할 수 있다는 강점이 있습니다.

결론

Amazon SageMaker AI의 Text Ranking과 Question & Answer UI 템플릿은 LLM의 효율적인 학습을 위한 데이터셋을 자동화된 방식으로 구축할 수 있도록 설계돼 있습니다. 학습 파이프라인의 자동화와 평가 정확도를 높이고자 하는 모든 생성형 AI 모델 개발자에게 특히 유용한 기능입니다. SageMaker 콘솔 혹은 API를 통해 지금 바로 활용해 보세요.

https://aws.amazon.com/blogs/machine-learning/power-your-llm-training-and-evaluation-with-the-new-sagemaker-ai-generative-ai-tools/