Improving Data Quality with AI in Life Sciences

Introduction

인공지능(AI)이 기업의 의사결정을 개선하는 데 있어 큰 역할을 하고 있으며, 특히 생명과학 분야에서 이를 효과적으로 활용하는 사례가 늘어나고 있습니다. 인데진(Indegene)은 이러한 흐름 속에서 데이터 품질을 보다 지속 가능하고 일관되게 유지하기 위한 새로운 접근 방식을 채택했습니다. 고객이 신뢰할 수 있는 데이터 품질을 보장하기 위해 AI 기반의 자동화 솔루션을 도입한 인데진의 사례를 살펴보겠습니다.

본론

1. 데이터 품질 향상의 필요성

엔터프라이즈 환경에서 데이터는 각기 다른 플랫폼과 파이프라인, 그리고 비즈니스 도메인에서 빠르게 증가하고 있습니다. 여기에 따라 데이터 품질을 유지하는 것이 점점 까다로워지고 있습니다. 특히 데이터 품질 규칙을 수동으로 작성하고, 거버넌스가 파편화되며, 비즈니스 정의가 지속적으로 변화하는 환경에서는 그 어려움이 배가됩니다.

2. NEXT UDP와 데이터 품질 에이전트

인데진은 AWS 기반의 NEXT 통합 데이터 플랫폼(NEXT UDP)을 통해 데이터 품질 관리의 새로운 모델을 제시합니다. 이 플랫폼은 상업, 의료, 임상, 기업 데이터를 통합된 환경에서 관리할 수 있도록 설계되었습니다. NEXT UDP는 데이터 품질 에이전트, 데이터 수집 에이전트, 오케스트레이션 에이전트 등 다양한 AI 에이전트를 제공하여 데이터 품질을 유지하고 효율적으로 관리할 수 있도록 돕습니다.

3. Generative AI를 활용한 데이터 품질 개선

데이터 품질 에이전트는 내부 및 외부 참조 데이터베이스를 바탕으로 컨텍스트 기반의 데이터 검증 규칙을 자동 생성합니다. 이를 통해 기술적이고 비즈니스적인 측면 모두를 고려한 데이터 품질 규칙을 제안하며, 검토 후에는 중앙화된 규칙 저장소에 저장됩니다.

4. 실제 사례의 성과

데이터 품질 에이전트는 인데진의 고객을 대상으로 이미 성과를 입증하고 있습니다. 예를 들어, 새로운 데이터셋에 대한 데이터 품질 규칙 정의 및 구현 시간이 약 30시간에서 4시간으로 감소했습니다. 이로써 데이터 엔지니어와 관리자들은 규칙 작성보다는 검토에 더욱 집중할 수 있게 되었습니다.

결론

Generative AI를 활용한 데이터 품질 에이전트는 복잡한 엔터프라이즈 데이터 환경에서 데이터 품질을 효과적으로 관리하고 개선하는 혁신적인 방법을 제공합니다. 이 솔루션은 인데진의 고객들 사이에서 높은 만족도를 기록하고 있으며, 향후 자동화된 오류 수정 제안, 이상 패턴 분석, 빠른 문제 해결 등의 기능 확장을 계획 중입니다. AI를 활용하여 데이터 품질을 지속적으로 개선할 수 있는 방안에 대해 더 관심을 가져보세요.

[1] https://aws.amazon.com/blogs/machine-learning/how-indegene-is-modernizing-and-scaling-enterprise-data-quality-in-life-sciences/