Amazon Nova로 구현하는 멀티모달 임베딩 기반 크로스모달 검색 시스템

Amazon Nova 멀티모달 임베딩을 활용한 크로스모달 검색 시스템 구현 가이드

도입
최근 디지털 콘텐츠의 다양화로 인해 이미지, 텍스트, 비디오, 오디오 등 다양한 형태의 정보를 통합적으로 검색하고 분석하는 기술의 수요가 점점 증가하고 있습니다. 특히 전자상거래, 콘텐츠 검색, 추천 시스템 분야에서는 사용자의 의도를 다양한 방식으로 파악하고 정확하고 빠르게 관련 콘텐츠를 제공하는 것이 중요합니다. 이를 가능하게 하는 기술 중 하나가 바로 크로스모달 검색이며, 이번 글에서는 Amazon Nova 멀티모달 임베딩(Amazon Nova Multimodal Embeddings)을 기반으로 크로스모달 검색 시스템을 어떻게 구현하고, 이를 어떻게 효율적으로 활용할 수 있는지에 대해 소개합니다.

본론

1. 크로스모달 검색이란?
   크로스모달(Crossmodal) 검색이란 서로 다른 형태의 데이터를 하나의 통합된 공간에서 비교 · 검색하는 기술입니다. 일반적인 검색 시스템은 텍스트 입력에 대한 텍스트 결과, 이미지 입력에 대한 이미지 결과만을 반환합니다. 반면, 크로스모달 검색은 텍스트로 이미지 콘텐츠를 찾거나, 이미지로 텍스트 콘텐츠를 찾을 수 있도록 해 사용자 경험을 크게 확장시킵니다.

Amazon Nova 멀티모달 임베딩은 텍스트, 이미지, 문서, 오디오, 영상 데이터를 하나의 통합된 벡터 공간에 임베딩하여 각기 다른 데이터 타입 간의 의미 유사도를 계산할 수 있게 해 줍니다.

2. Amazon Nova의 주요 장점
   Amazon Nova는 Amazon Bedrock을 통해 제공되며, 하나의 모델 아키텍처로 여러 입력 모달리티(텍스트, 이미지, 오디오 등)를 처리합니다. 이를 통해 여러 개의 임베딩 모델을 유지보수하거나 모달리티별로 데이터를 구분하는 복잡한 아키텍처를 구축할 필요가 없습니다. 주요 장점은 다음과 같습니다.

• 다양한 콘텐츠를 하나의 API와 일관된 임베딩 형식으로 처리
• 유사도 계산의 자동화 및 간소화 (코사인 유사도 기반 처리)
• Matryoshka 표현 학습 방식 적용으로 차원 축소 시 성능 유지
• 제품 설명과 이미지가 유사한 의미를 갖도록 훈련된 일관된 임베딩 값 생성

3. 대표 활용 사례: 전자상거래 크로스모달 검색
   TV에서 본 상품을 사진으로 촬영하거나 문장으로 설명한 후, 관련 상품을 검색해 바로 구매까지 연결되는 "TV에서 장바구니까지" 경험이 바로 크로스모달 검색의 직접적인 예입니다.

Amazon Nova는 이미지 또는 텍스트 입력을 받아 카탈로그 내 제품과 시맨틱한 유사도를 기초로 내용을 검색합니다. 아래의 워크플로우는 이러한 전자상거래 적용 사례를 도식화한 것입니다.

4. Amazon Nova 시스템 구성 요소 및 아키텍처
   Amazon Nova 기반 크로스모달 검색 시스템은 다음 3단계 구성 요소로 구성됩니다.

• 임베딩 생성: 텍스트 및 이미지를 Amazon Nova로 임베딩 추출
• 벡터 저장: Amazon S3 Vectors를 통해 벡터 데이터를 대규모로 저장
• 유사도 검색: 사용자 입력을 벡터화하여 기존 데이터와 유사도 계산

아키텍처 구성은 아래와 같습니다.

5. 주요 구성 요소 상세 설명

• 임베딩 API 활용
  Amazon Bedrock의 API를 사용해 텍스트 또는 이미지를 각각 256~3072차원의 벡터로 임베딩합니다. 이때 같은 제품의 텍스트와 이미지에 대해 생성된 벡터는 의미적으로 인접한 공간에 위치합니다.

• Matryoshka Representation
  임베딩 차원이 높은 경우 스토리지 소모가 커질 수 있는데, Nova는 우선순위가 높은 정보부터 차원 앞부분에 배치한 Matryoshka 학습 기술을 활용하므로 필요 시 차원을 줄여 저장 공간을 줄이고 처리 속도를 증가시킬 수 있습니다.

• Amazon S3 Vectors 벡터 저장소 활용
  Amazon S3 Vectors는 고차원 벡터를 검색할 수 있는 신규 기능입니다. 코사인 거리 기반의 검색 지표를 지원하며, 임베딩 데이터 메타 정보를 함께 저장해 다양한 조건 기반 검색이 가능합니다.

6. 검색 시스템 구현 방법
   텍스트 또는 이미지로부터 임베딩을 생성한 후, 이를 Amazon S3 Vectors에 저장합니다. 검색 시에는 입력값을 벡터화한 뒤, S3 Vectors API를 통해 유사도를 계산하고 순위를 정렬해 결과를 반환합니다.

검색 쿼리는 세 가지 형태가 모두 가능합니다:

• 텍스트 입력만
• 이미지 입력만
• 텍스트와 이미지 동시입력 (평균 임베딩 적용)

이처럼 구현 자체가 단일 시스템에서 통합돼 있어 개발자 입장에서는 API 사용만으로 멀티모달 검색을 빠르고 간편하게 자동화할 수 있습니다.

결론
Amazon Nova 멀티모달 임베딩은 크로스모달 검색이라는 복잡한 문제를 단일 모델로 손쉽게 해결할 수 있게 도와줍니다. 전통적인 검색 시스템과 다르게 다양한 콘텐츠 유형 간의 통합 검색이 가능하며, 운영 복잡도를 줄이고 유지관리 자동화를 촉진하는 기술입니다.

전자상거래, 콘텐츠 검색, 마케팅 자동화, 스마트 검색 서비스 등 AI를 도입하고자 하는 다양한 분야에서 이 기술은 실질적이고 효과적인 활용이 가능합니다. 특히 API 기반의 간편한 배포 가이드를 통해 빠르게 적용할 수 있는 것도 큰 장점입니다.

Amazon Nova는 Bedrock 기반의 엔터프라이즈 솔루션으로, 신속한 개발과 운영 최적화를 지원하며 차세대 검색 시스템의 표준으로 자리잡을 것입니다.

[1] https://aws.amazon.com/blogs/machine-learning/crossmodal-search-with-amazon-nova-multimodal-embeddings/