AWS 베드락을 통한 모델 평가 편향 해결 및 비용 효율화

AWS 베드락을 통한 모델 평가 편향 해결 및 비용 효율화

AI 에이전트 및 클라우드 솔루션에 대한 수요가 매년 증가함에 따라, 우리는 AWS 베드락(Amazon Bedrock)을 활용하여 높은 정확도와 비용 효율성을 동시에 구현할 수 있는 방안을 탐색해 보았습니다. 이 글에서는 Property Finder의 사례를 통해 어떻게 기존 모델에 대한 평가 편향을 제거하고, 최적의 AI 모델 배포를 위한 방법론을 논의합니다.

광고의 본문: 평가 편향의 식별 및 해결

Property Finder는 중동 및 북아프리카(MENA) 지역에서 부동산 이미지의 품질을 평가하는 프로세스를 운영하고 있습니다. 특히 이전에는 모델 평가가 기존 모델의 예측치를 직접 라벨로 사용해 진행되었기 때문에, 새로운 모델의 성능을 객관적으로 비교하기 어려웠습니다.

하지만 AWS의 지원을 받아 Amazon Bedrock의 자동화를 통해 평가 편향을 식별하고, 인적 전문 지식을 활용해 새로운 라벨을 생성하며 공정한 비교를 위한 환경을 조성할 수 있었습니다. 이 과정에서 얻은 교훈은 다른 AI 워크로드에도 적용할 수 있습니다.

효과적인 모델 배포를 위한 최적화 방법

Property Finder는 Amazon Bedrock을 통해 비용을 86% 절감하는 동시에, 모델 정확도를 81%까지 향상시키는 데 성공하였습니다. 그러기까지 평가 편향의 제거와 프롬프트 최적화가 주요 역할을 했습니다. 프롬프트 최적화 과정을 마치 반복 학습의 한 형태로 생각할 수 있으며, 각각의 프롬프트 버전이 강화 학습에서 에이전트와 유사한 역할을 수행했습니다.

결론

Property Finder의 경험을 통해 배운 것은 모델 평가의 신뢰성을 높이기 위한 평가 데이터셋의 인적 검증과 AWS 베드락을 활용한 프롬프트 최적화가 필수적이라는 점입니다. 이러한 점은 더 높은 정확도와 낮은 비용을 목표로 하는 모든 조직에 실질적인 가치를 제공합니다.

[1] https://aws.amazon.com/blogs/machine-learning/fix-evaluation-bias-to-unlock-better-models-on-amazon-bedrock/