Amazon Nova를 활용한 제조 문서 지능 검색 시스템 구축

Amazon Nova 멀티모달 임베딩을 활용한 제조 지능

개요

아마존 노바(Amazon Nova) 멀티모달 임베딩은 글과 이미지, 문서 페이지를 통합된 벡터 공간에 매핑하여, 텍스트 쿼리가 엔지니어링 다이어그램을 검색하고 이미지 쿼리가 작성된 명세를 검색할 수 있는 역량을 제공합니다. 본 포스트에서는 Amazon Nova 멀티모달 임베딩과 Amazon Bedrock, 그리고 Amazon S3 Vectors를 활용하여 항공우주 제조 문서를 위한 멀티모달 검색 시스템을 구축하는 방법을 설명합니다.

본문

멀티모달 검색의 중요성

대부분의 제조 문서는 텍스트와 다이어그램 및 이미지를 포함하고 있습니다. OCR을 이용한 텍스트 전용 시스템은 이미지 내의 시각적 정보를 제대로 인식하지 못하고, 이는 검색 품질에 장애가 될 수 있습니다. Amazon Nova 멀티모달 임베딩은 텍스트와 이미지를 동일한 벡터 공간으로 매핑하여 이러한 문제를 해결하려 합니다.

Amazon Nova 멀티모달 임베딩 소개

Amazon Nova 멀티모달 임베딩은 Amazon Bedrock에서 사용할 수 있으며, 텍스트, 이미지, 멀티페이지 문서에 대해 임베딩을 생성합니다. 주요 장점 중 하나는 다양한 디멘션 옵션을 제공하며, 1024 디멘션을 사용한 모델은 검색 품질과 비용의 균형을 제공합니다.

구현 과정

둘로 나뉜 파이프라인을 통해 동일한 데이터셋에서 다운스트림 생성 품질을 비교했습니다. 텍스트와 이미지를 Amazon Nova 멀티모달 임베딩을 사용하여 S3 벡터 인덱스에 주입하거나, OCR을 통해 텍스트 추출 후 임베딩하여 별도의 S3 벡터 인덱스에 주입했습니다.

검색 및 생성 결과 분석

멀티모달 파이프라인은 26개의 쿼리에서 90%의 리콜을 기록하며, 5점 만점에 4.88의 생성 품질 점수를 획득했습니다. 반면, OCR 기반의 텍스트 전용 파이프라인은 평균 2.00의 점수를 받았는데, 이는 시각적 이미지 기반 정보 캡처 능력의 부족으로 인한 것입니다.

결론

Amazon Nova 멀티모달 임베딩을 사용한 멀티모달 검색 시스템은 문서 검색의 품질을 크게 향상시키고, 특히 시각적 콘텐츠가 중요한 제조 문서에서 탁월한 성능을 발휘합니다. 이를 통해 복잡한 임베딩 모델 인프라를 관리하지 않고도 고품질의 멀티모달 검색 시스템을 구현할 수 있습니다.

[1] https://aws.amazon.com/blogs/machine-learning/manufacturing-intelligence-with-amazon-nova-multimodal-embeddings/