Amazon Bedrock으로 구현하는 지능형 문서 처리 솔루션 구축 및 평가 가이드

문서 처리의 진화 – Amazon Bedrock 기반 KIE 솔루션 구축 및 평가 가이드

소개

문서 처리 자동화 기술은 이제 단순한 편의성을 넘어 기업의 경쟁력을 결정짓는 핵심 요소로 자리 잡고 있습니다. 특히, KIE(Key Information Extraction)는 인보이스, 계약서, 의료 기록 등 정형·비정형 문서에서 주요 데이터를 자동으로 추출하여, 업무 효율을 극대화하는 데 중요한 역할을 합니다. 하지만 높은 품질의 문서 처리 시스템을 구축하고 이를 정확하고 비용 효율적으로 운영하기 위해서는 신뢰할 수 있는 데이터셋, 강력한 모델, 표준화된 평가 프레임워크가 필요합니다.

이번 포스트에서는 Amazon Bedrock의 Amazon Nova 모델을 활용하여 대규모에서 확장이 용이한 지능형 문서 처리(IDP) 솔루션을 어떻게 구축하고 운영 성능(정확도, 지연 시간, 비용)까지 종합적으로 평가할 수 있는지를 소개합니다. 특히 실제 기업 환경을 대표하는 인보이스 데이터셋 FATURA를 기반으로 하여 실전 활용 가능한 자동화 가이드를 제공합니다.

본문

FATURA: 현실적이고 신뢰도 높은 데이터셋

정확한 성능 평가를 위해서는 고품질 라벨링 데이터가 필수입니다. FATURA 데이터셋은 총 1만 개의 다양한 인보이스를 JPEG 이미지 형식으로 제공하며, 각 문서는 24개 필드로 구성되어 있습니다. 50가지 레이아웃 유형을 포함하고 있어 실제 기업 문서 환경을 잘 반영합니다.

데이터 전처리 과정에서는 레이블 구조 혼재, 값 표기 불일치 등 다양한 오류를 정규화하여 모델 입력 형태에 맞게 통일합니다. 또한 일부 문서에서는 필수 정보가 누락되어 있어, KIE 시스템이 이를 무조건 예측하지 않고 미존재로 처리하는 유연성이 요구됩니다.

Amazon Bedrock와 Converse API를 활용한 모델 호출 자동화

Amazon Bedrock은 다양한 대규모 언어모델(LLM)을 API를 통해 신속하게 호출하고 활용할 수 있도록 하며, 지능형 문서 처리를 위한 복잡한 규칙 기반 시스템 없이도 높은 품질의 추출 결과를 제공합니다. 그 핵심은 Amazon Bedrock의 Converse API입니다. 이를 통해 특정 모델 ID 및 사용자 메시지(프롬프트)를 기반으로 문서 추출 요청을 통합된 방식으로 수행할 수 있습니다.

템플릿 기반 프롬프트 엔지니어링 전략

효율적인 정보 추출을 위한 키는 잘 설계된 프롬프트입니다. Jinja2 기반 프롬프트 템플릿을 활용하면 다양한 문서 유형이나 입력 방식(텍스트, 이미지, 멀티모달)에 유연하게 대응할 수 있으며, 동일한 논리 구조를 모델에 일관되게 제공함으로써 성능을 높일 수 있습니다.

LangChain의 PromptTemplate 기능을 이용하여 OCR 텍스트 및 필드 설명 등을 삽입한 프롬프트를 가공한 뒤, 이를 이미지와 함께 다중 입력 구조로 모델에게 전달함으로써 실제 업무 시나리오에 맞는 자동화 환경을 구현할 수 있습니다.

성능 측정: 정밀도, 속도, 비용의 3대 지표

정확도(F1 스코어)

정확도는 정답값과 예측값의 일치 여부로 판단되며, 단순 문자열 비교가 아닌 필드 유형별 정규화·유사도 판단 알고리즘을 통해 TP(True Positive), FP(False Positive), FN(False Negative) 값을 산출합니다. 특히 날짜, 금액과 같은 데이터는 서식이 달라도 의미가 같을 수 있으므로, 추출 정확성 판단을 위한 특화된 비교 로직이 필요합니다.

지연시간(Latency)

문서 한 페이지를 분석하고 출력 결과를 생성하는 데 걸리는 시간은 실제 문서 라우팅 속도 및 사용자 경험에 직결됩니다. Amazon Nova 모델 중 Lite 모델이 Pro 모델보다 평균 지연 시간이 짧고, 이미지 입력을 포함하는 경우 처리 시간이 길어집니다.

비용(Cost)

Amazon Bedrock에서는 입력 토큰과 출력 토큰 양에 따라 과금되며, 이를 단일 문서 기준이 아닌 1천 페이지 기준으로 표준화해 비교 가능성을 높이고 있습니다. 토큰 수는 모델의 토크나이저마다 달라 동일 문서라도 모델별 요금이 상이하므로 세심한 요금 시뮬레이션이 중요합니다.

비교 결과 – Amazon Nova 시리즈

아래는 Nova Lite와 Nova Pro 모델 간 성능 및 비용 비교입니다.

모델	입력	F1 점수	지연시간 (초)	입력/출력 토큰	1000페이지당 비용
Nova Lite	텍스트	0.9222	3.07	2340/316	$0.2162
Nova Pro	텍스트+이미지	0.9793	11.12	4090/311	$4.2672

결국, 높은 정확도가 필요한 경우 Pro 모델이 적합하지만, 대량 문서에 대해 비용 최적화를 원한다면 Lite 모델이 유효한 대안이 될 수 있습니다. 이처럼 추출 활용 목적에 따라 성능-속도-비용의 균형을 고려한 설정이 중요합니다.

결론

Amazon Bedrock 및 Nova 모델 시리즈를 활용한 IDP 구현 가이드는 단순히 모델을 호출하는 데 그치지 않고, 정확한 전처리, 모델 선택, 프롬프트 설계, 평가 자동화에 이르기까지 전체 라이프사이클을 포괄합니다. 본 포스트에서는 실전 적용이 가능한 배포 가이드와 비교 평가 프레임워크를 제시했으며, 이를 바탕으로 사용자는 자체 문서 유형에 최적화된 지능형 문서 처리 환경을 구성할 수 있습니다.

앞으로 다양한 산업 도메인의 문서 유형을 대상으로 더욱 확장된 비교 벤치마킹을 수행할 예정이며, 필요에 따라 모델 파인튜닝을 통해 특정 필드나 사례에 적합한 자동화 수준을 높일 수 있습니다.

지금 바로 Amazon Bedrock을 기반으로 귀사의 문서 처리 자동화 여정을 시작해보세요.

[1] https://aws.amazon.com/blogs/machine-learning/document-intelligence-evolved-building-and-evaluating-kie-solutions-that-scale/