Clario의 생성형 AI 기반 COA 인터뷰 분석 자동화 사례

클라우드 기반 생성형 AI를 활용한 임상 인터뷰 분석 자동화 사례: Clario의 성공적인 도입

소개

임상시험은 신약과 치료법의 효능과 안전성을 입증하기 위해 복잡하고 정밀한 데이터 수집 및 분석을 필요로 합니다. 특히, 정신질환이나 기분 장애와 같은 영역에서 사용되는 COA(Clinical Outcome Assessment, 임상 결과 평가) 인터뷰는 환자 상태를 객관적으로 파악하기 위한 핵심 도구입니다. 하지만, 기존 COA 리뷰 방식은 오디오 및 영상 데이터를 수작업으로 분석하고 평가해야 하는 실시간 기반의 복잡성과 인력 자원 소모라는 한계가 존재했습니다.

이러한 문제를 해결하기 위해, 글로벌 임상 데이터 솔루션 기업인 Clario는 AWS 상에서 생성형 AI와 자동화 기술을 도입하여 COA 인터뷰 분석 프로세스를 대폭 개선했습니다. 이 글에서는 Clario의 구체적인 활용 사례, 시스템 아키텍처, 실질적인 효과와 교훈을 소개하며, AI를 통한 임상 데이터 분석 자동화의 현실적인 활용 방안을 살펴보겠습니다.

본론

Clario는 50년 이상의 경험을 가진 임상 데이터 전문가로, 그동안 3만 회 이상 엔드포인트 데이터 솔루션을 구축하며 세계 100개국 이상에서 700개 이상의 신약 승인 과정을 지원해왔습니다. Clario는 Amazon Bedrock, SageMaker, OpenSearch, EKS 등 AWS의 다양한 AI/ML 서비스들을 활용하여, COA 인터뷰 분석을 자동화하는 솔루션을 구축했습니다.

1. 비즈니스 요구사항
   Clario는 다음과 같은 주요 과제를 해결하고자 했습니다.

• 다양한 언어의 글로벌 인터뷰 데이터 표준화
• 평가자 간의 평가 편차 최소화 및 일관성 확보
• 대규모 오디오 인터뷰의 신속하고 효율적인 분석
• HIPAA 규제 등 의료 산업에서 요구되는 보안 및 컴플라이언스 충족

2. 자동화된 인터뷰 분석 시스템 구조

Clario가 구축한 시스템은 인터뷰 녹음부터 분석 결과 출력까지 다음의 자동화된 워크플로우를 따릅니다.

• 데이터 수집: COA 인터뷰 영상/오디오가 로컬 환경에서 녹음되어 Amazon S3로 업로드되며, 전송 및 저장 과정에서 암호화가 적용됩니다.
• 음성 분리 및 전사: Amazon SageMaker에서화자 분리(diarization)를 수행하고, Amazon Bedrock의 Whisper 모델을 통해 다중 언어로 즉시 스크립트를 생성합니다.
• 데이터 벡터화: 전사된 인터뷰 대사는 메타데이터와 함께 Amazon OpenSearch 벡터 데이터베이스에 저장되며, LLM이 컨텍스트를 이해하도록 지원합니다.
• 평가 수행: Amazon EKS 상에서 동작하는 Graph 기반의 Agent 시스템이 각 인터뷰를 평가 체크리스트 기준으로 자동 점검하고, 이상 징후 또는 품질 저하 요인을 식별합니다.
• 평가 결과 저장: 평가 결과는 Amazon RDS에 저장되어 고객 포털이나 API를 통해 쉽게 조회할 수 있습니다.

3. 자동화된 AI 평가 흐름의 특징

• 세그먼트 기반 문맥 이해: 회화 흐름을 단절 없이 이해하기 위해, 인터뷰를 의미 단위로 분절하고 각 세그먼트를 메타데이터와 함께 저장합니다.
• 의미 검색 및 질의 응답: 특정 평가 항목에 해당하는 발언을 의미 검색 기반으로 찾아 분석합니다.
• LLM 활용 자동 평가: Anthropic Claude와 같은 LLM을 활용하여 발언자 역할을 분류하고, 인터뷰 품질 평가를 자동화합니다.
• 실시간 결과 제공: 전체 분석이 거의 실시간으로 운영되어 임상 시험 후속 결정을 빠르게 지원합니다.

4. 도입 효과 및 비즈니스 성과

• 운영 효율성 증대: 수작업 리뷰 시간 90% 이상 절감 가능
• 품질 개선: 모든 인터뷰에 대한 전수 검사 가능, 편향 제거
• 신뢰도 향상: 분석 기준 일관성 확보로 데이터 제출 대비 신뢰 더 높아짐
• 의사결정 속도 개선: 리뷰 소요 시간 ‘수 주(weeks)’에서 ‘수 시간(hours)’ 단축

5. 도입 과정의 교훈 및 모범 사례

• LLM의 책임 있는 사용이 필수: 허위 요약 리스크를 방지하기 위해 AI 결과를 소스 문서에 기반해 교차 검증하도록 구성
• 지속적인 모델 성능 검증: 커스텀 데이터셋과 다양한 모델 조합으로 성능 테스트
• 확장성과 보안을 고려한 배포 구조: 서버리스 기반으로 확장 대응, 데이터 암호화 및 접근 제어에 대한 사전 설계

결론 및 향후 방향

Clario는 AWS의 AI/ML 서비스를 이용한 자동화 분석 솔루션을 통해 COA 인터뷰 품질을 획기적으로 개선하고 임상시험 운영의 효율을 크게 향상시켰습니다. 이는 의료 분야에서 AI 활용의 실질적인 가능성을 보여주는 대표 사례로, 다른 기업이나 의료 연구 기관에서도 활용할 수 있는 모범 시스템입니다.

현재 Clario는 해당 플랫폼을 신경과학 인터뷰나 다른 질환군 분석에도 확장 가능성을 탐색 중이며, 더 많은 임상 영역에 생성형 AI 솔루션을 적용하는 방안을 준비하고 있습니다.

임상시험과 같이 고신뢰 데이터를 요구하는 환경에서 자동화 기술과 LLM을 접목한 사례는 향후 의료 AI의 방향성을 제시하는 중요한 이정표가 될 것입니다.

[1] https://aws.amazon.com/blogs/machine-learning/how-clario-automates-clinical-research-analysis-using-generative-ai-on-aws/