멀티모달 AI로 항공 이미지 검색 지식 기반 개발

도입: 멀티모달 AI를 활용한 항공 이미지를 검색 가능한 지식 기반으로 활용

항공 이미지를 단순한 시각적 데이터에서 자연어 검색이 가능한 지식 기반으로 전환하는 것은 보험, 부동산, 정부, 인프라, 농업 등 다양한 산업 분야에서 핵심적인 문제입니다. 기존의 접근 방식은 새로운 질문마다 수작업으로 타일을 확인하거나 맞춤형 컴퓨터 비전 모델을 학습시키는 것입니다. 하지만 AWS의 멀티모달 임베딩, 대형 언어 모델(LLM) 캡션 및 벡터 검색을 활용하면 빠른 해결책을 제공할 수 있습니다: 한 번 색인을 맞춘 후 자연어로 질의할 수 있습니다.

본문: 다중 항공 이미지를 효율적으로 처리하는 시스템 구축 및 다양한 실험

저희는 Vexcel과 협력하여 멀티뷰 항공 이미지에 대한 임베딩 모델, 융합 전략, 캡션 통합 및 검색 방법을 평가했습니다. Vexcel은 자체 센서와 전용 항공기를 통해 전 세계 45개국 이상에서 고해상도 데이터를 수집하여 정사 영상, 다양한 각도의 경사 영상, 고도 모델 등을 제공합니다. 이 데이터를 활용하여 정확한 지리적 정보 분석을 위해 여러 가지 시스템 아키텍처와 검색 전략을 실험하고 조정했습니다.

멀티뷰 데이터를 효율적으로 검색하기 위해 AWS 서비스 및 벡터 임베딩을 활용한 다양한 실험을 통해 노하우를 축적했습니다. 특히, 검색 품질을 개선하기 위해 Amazon Nova 멀티모달 임베딩, 검색 전략 조정, 자동화된 평가 프레임워크 구축 등 다양한 접근을 시도하였습니다. 각 실험은 다양한 측면에서 쿼리의 정확도를 높이고 시스템의 유연성을 확보하는 데 역점을 두었습니다.

결론: 실질적인 AI 기반 항공 이미지 검색의 개선

저희의 연구와 실험을 통해 멀티모달 AI가 어떻게 항공 이미지를 자연어로 검색이 가능한 지식 기반으로 전환할 수 있는지 확인할 수 있었습니다. 이 시스템은 앞으로도 새로운 모델과 서비스들이 추가될 때마다 지속적인 발전 가능성을 제공합니다. Vexcel은 이 결과를 기반으로 실제 활용 가능한 제품을 개발하였습니다.

[1] https://aws.amazon.com/blogs/machine-learning/embed-the-world-multimodal-ai-for-searchable-aerial-imagery-at-scale/