AI를 활용한 메타데이터 수정 및 조화

AI를 활용한 메타데이터 수정 및 조화

소개
데이터 수집 및 생성이 가속화되면서 원시 데이터를 표준화할 수 있는 역량 사이의 간격은 점차 벌어지고 있습니다. 자동화가 없는 상태에서는 이 간격이 분석을 지연시키고, 해석을 복잡하게 하며, 공유 데이터셋의 글로벌 가치를 제한하는 주요한 병목 현상이 됩니다. 메타데이터 조화(라벨, 식별자 및 포맷을 표준화하여 다양한 소스의 데이터셋이 함께 작동할 수 있도록 하는 작업)는 여전히 수작업으로 이루어지고 있습니다. AI를 활용한 메타데이터 수정 및 조화 시스템은 이런 문제를 해결할 수 있는 방안을 제시하며, 메타데이터 관리가 데이터 볼륨에 맞춰 확장 가능하고 연구를 저해하지 않는 방식으로 발돋움할 수 있도록 돕습니다.

본론
AI를 활용한 메타데이터 수정은 실무에서 어떻게 작동하는지 설명하며, 두 가지 구현 방법(인간의 검증이 포함된 방식부터 완전 자율적인 에이전트 주도의 워크플로우까지)을 탐구하고, 이러한 솔루션을 조직 내에 배포할 때의 거버넌스 고려사항을 제공합니다.

메타데이터 수정 및 조화 워크플로우
AI 기반의 메타데이터 수정 및 조화 워크플로우는 다양한 메타데이터 소스 간의 일관성, 상호 운용성 및 정확성을 지원하기 위해 AWS에 구축된 중앙 집중형 시스템 형태로 설계되었습니다. 이 시스템은 대규모 언어 모델(LLM) 기반의 스키마 정렬 및 수정 권장 사항을 위해 Amazon Bedrock, 스키마 및 결과 저장을 위한 Amazon S3, 작업 추적을 위한 Amazon DynamoDB, 인증을 위한 Amazon Cognito, 컴퓨팅을 위한 Amazon Elastic Container Service (Amazon ECS)를 사용합니다. 워크플로우는 메타데이터 스키마를 조정하고, 데이터 무결성을 검증하며, 수정 권장 사항을 생성하는 조화 패키지를 포함합니다.

시스템은 업로드된 메타데이터를 검증, 권장 사항 생성, 사용자 승인 절차를 거치는 사이클형 워크플로우로 운영됩니다. 사용자가 메타데이터 파일을 업로드하면 시스템이 두 가지 병렬 검증 스트림을 수행합니다: 스키마 정렬은 열 구조가 예상 형식과 일치하는지를 확인하며, 메타데이터 필드 검증은 개별 필드 값이 표준을 준수하는지를 검사합니다. 문제가 감지되면 시스템은 목표 지향적인 수정 권장 사항을 생성하여 사용자에게 제시하며, 최종 수정 여부는 사용자가 결정할 수 있도록 합니다.

결론
AI 기반 메타데이터 수정 및 조화 워크플로우는 생물의학 연구에서 데이터 표준화 대신 과학적 작업에 더 많은 시간을 투자할 수 있게 도와줍니다. 인간의 검증과 에이전트 주도의 워크플로우 두 가지 구현 방식은 AI 채택의 다른 단계에 있는 조직들에게 유연성을 제공합니다. 팀은 시스템에 대한 신뢰를 구축하기 위해 감독하에 수정하는 방식으로 시작하고, 점진적으로 더 자동화된 접근 방식을 채택할 수 있습니다.

[1] https://aws.amazon.com/blogs/machine-learning/ai-powered-metadata-correction-and-harmonization/