AI를 활용한 자동화 테스트 분류 시스템 개발 가이드

소개

오늘날 많은 기업들이 AI를 활용하여 업무 효율성을 극대화하고 있습니다. Rescale은 이러한 혁신을 선도하는 디지털 엔지니어링 플랫폼으로, AWS의 AI-Driven Development Lifecycle (AI-DLC) 프레임워크를 도입하여 자동화 테스트 실패를 효과적으로 분류하는 지능형 triage agent를 개발하였습니다. 이 글에서는 어떻게 Rescale이 이 시스템을 구축했는지와 AI-DLC를 활용해 어떤 이점을 얻었는지에 대해 살펴보겠습니다.

AI-DLC를 활용한 Rescale의 AI triage agent 개발 사례

Rescale은 AI-DLC 프레임워크를 사용하여 AI triage agent를 개발하는 데 일주일도 걸리지 않았습니다. 단 5일 만에 문제 정의부터 운영 단계까지 빠르게 진행되었으며, 이 과정에서 AWS의 다양한 기술과 도구가 활용되었습니다. 이 시스템은 Amazon EKS에서 클라우드 기반으로 실행됩니다.

개발 필요성 및 해결 도전

Rescale의 플랫폼이 점점 성장하면서 자동화 테스트 실패를 분류하는 작업이 점점 중요해졌습니다. 매일 수백 건의 테스트 사례가 실행되며 실패할 경우 이를 분류하고, 우선순위를 정하고, 적절한 팀에 라우팅하는 작업이 필요했습니다. 이 시스템의 개발을 통해 Rescale은 테스트 실패의 원인을 자동으로 분류하고 라우팅하여 엔지니어들의 수고를 덜 수 있었습니다.

AI-DLC 선택 이유

Rescale의 요구는 명확했습니다. 빠른 속도로 시스템을 개발하면서도 동시에 안정성 있는 아키텍처를 유지하는 것이 필수적이었습니다. AI-DLC는 AI가 실행하고 인간이 결정하는 중심의 개발 방식을 제공하여, Rescale이 원하는 솔루션을 개발하는 데 최적의 선택이었습니다. AI-DLC의 팀 협력 세션은 비동기 작업 방식을 대체하여, 의사결정을 즉각적으로 가능하게 하여 개발 속도를 한층 높였습니다.

해결 과정 개요

Rescale의 triage agent는 Rescale의 기존 CI/CD 파이프라인 내에서 Amazon EKS를 기반으로 작동하며, AWS Bedrock을 활용하여 테스트 실패를 분류하고, 지식베이스에서 역사적인 실패 패턴을 가져와 지능형 보고서를 생성합니다.

결론

AI-DLC를 통한 Rescale의 개발은 AI가 단순히 코드 작성을 넘어서, 명확하고 정교하게 정의된 설계 파악을 통해 얼마나 즉각적인 결과를 가져올 수 있는지 보여줍니다. AI-DLC는 AI의 가능성을 극대화하면서도 인간의 통찰력과 검증을 결합하여, 더욱 강력한 제품을 개발할 수 있는 방법을 제공합니다.

[1] https://aws.amazon.com/blogs/machine-learning/how-rescale-built-an-ai-triage-agent-with-strands-agents-and-ai-dlc/