실시간 피처 스토어 구축 가이드: Jumio 사례

실시간 피처 스토어 구축 가이드: Jumio 사례

오늘날 인공지능(AI) 및 머신러닝(ML) 사용자는 실시간 피처 스토어의 필요성을 절실히 느끼고 있습니다. 인터페이스와 데이터 처리가 분산된 환경에서 효율적이지 않은 작업을 해왔던 Jumio는 AWS를 통해 현실적인 솔루션을 구현했습니다. 이 블로그에서는 Jumio의 사례를 중심으로 실시간 피처 스토어 구현 방법과 이를 통한 주요 혜택을 살펴보겠습니다.

서론

피처 스토어란 ML 모델이 학습하고 추론할 수 있도록 데이터 피처를 관리하는 저장소를 의미합니다. 실시간 피처 스토어는 이를 서브-100ms 레이턴시로 제공하여 즉시성이 필요한 AI 솔루션에 매우 유용합니다. 특히 투명하고 일관된 데이터 접근은 모델의 정확성을 높이는 핵심입니다.

본문

AWS 기반의 피처 스토어 아키텍처는 다음과 같은 문제 해결을 돕습니다:

• 데이터 중복 제거 및 일관성 확보: 각 팀별로 분산되어 있던 오프라인 피처 스토어를 중앙화하여 데이터 중복과 불일치를 해결합니다.
• 효율적인 배포 자동화: 수동으로 이루어졌던 생산 코드 배포 과정을 자동화하여 시간이 오래 걸리던 프로세스를 대폭 단축합니다.
• 낮은 레이턴시: 모형 추론에 필요한 피처를 실시간으로 제공하여 사용자의 요구를 빠르게 충족합니다.

Jumio의 실시간 피처 스토어는 스트리밍 우선 설계로, 확장성과 신뢰성을 보장합니다. 데이터는 AWS Kinesis를 통해 수집되고, Apache Flink를 사용해 실시간으로 처리됩니다. 이 과정에서 Amazon SageMaker Feature Store에 저장된 피처는 ML 모델이 매 순간 사용할 수 있도록 합니다.

실시간 처리와 더불어 Amazon S3와 Amazon EMR을 활용한 오프라인 피처 스토어도 존재합니다. 이러한 복합적인 데이터 파이프라인은 모델 훈련 및 모니터링을 위한 배치 프로세싱을 지원합니다.

아키텍처

Stream-first 설계에 기반한 Jumio의 피처 스토어 아키텍처는 다음 그림과 같습니다:

결론

Jumio의 실시간 피처 스토어는 AI 기반 솔루션의 성능을 더욱 강화하며, 실질적인 운영 비용을 절감했습니다. AWS의 다양한 서비스를 통해 구축된 이 아키텍처는 뛰어난 성능과 신뢰성을 제공합니다. 이를 통해 Jumio는 연간 약 12만 달러의 비용 절감을 이뤄냈습니다.

이 블로그가 실시간 AI 솔루션을 고려하시는 분들께 유용한 인사이트가 되길 바랍니다. 궁금한 점이나 도입 사례가 있다면 댓글로 공유해 주세요.

[1] https://aws.amazon.com/blogs/machine-learning/how-jumio-built-a-real-time-feature-store-on-aws/