소프트웨어 버그 관리 자동화를 위한 Miro와 Amazon Bedrock의 활용 사례

소프트웨어 버그 관리 자동화를 위한 Miro와 Amazon Bedrock의 활용 사례

프로젝트 관리 및 협업 툴인 Miro는 전 세계 9500만 명 이상이 사용하는 AI 기반 혁신 워크스페이스로, 비구조화된 아이디어를 조직화된 흐름으로 변환시켜 줍니다. Miro 개발자 경험팀은 개발자 생산성을 높이기 위해 현대 기술을 활용하여 Miro 자체의 혁신 워크스페이스를 구축하기로 결정했습니다. 이러한 노력의 일환으로 먼저 해결해야 할 과제는 다양한 소프트웨어 버그를 정확하게 관련 팀에 할당하는 것이었습니다.

버그를 잘못 할당하거나 여러 팀 간에 재배정되는 문제로 인해 시간과 노력이 낭비되어 연간 42년 이상의 생산성 손실이 발생하게 됩니다. 이를 해결하기 위해 AWS 프로토타이핑 및 클라우드 엔지니어링(PACE) 팀과 협력하여 자동화 버그 분류 솔루션인 BugManager를 개발했습니다. 이 포스트에서는 Amazon Bedrock를 활용하여 Miro의 버그 라우팅 정확도를 개선한 사례를 자세히 소개합니다.

RAG 기반 버그 분류: BugManager

BugManager는 자동화된 버그 분류를 위해 LLM 기반 접근 방식을 채택했습니다. Amazon Nova Pro의 멀티모달 이미지 및 비디오 이해 기능을 활용하여 스크린샷이나 비디오 등 비텍스트 데이터를 분석하고, Amazon Bedrock Knowledge Bases를 통해 과거 해결된 Jira 문제, Confluence 문서 및 GitHub 리드미 등 다양한 데이터 소스에서 관련 컨텍스트를 가져옵니다. 이렇게 축적된 정보를 기반으로, Anthropic의 Claude Sonnet 4를 통해 최적화된 분류 프롬프트를 생성하여 버그를 적절한 팀으로 라우팅합니다.

BugManager의 작동 원리

1. 사용자 피드백 보고서 제출: 사용자 피드백이 Slack 채널을 통해 제출됩니다.
2. 미디어 첨부파일 분석: 미디어 첨부파일(스크린샷, 비디오 등)을 텍스트로 변환합니다.
3. 컨텍스트로 피드백 강화: Amazon Bedrock Knowledge Bases를 통해 추가 컨텍스트를 제공합니다.
4. 피드백의 올바른 팀으로 라우팅: 수집된 정보를 기반으로 프롬프트를 생성하여 정확한 팀으로 피드백을 라우팅합니다.
5. 근본 원인 분석 생성: 필요 시, 버그에 대한 더 깊은 원인 분석을 수행하여 추가 인사이트를 제공합니다.
6. 사용자 리뷰를 위한 결과 반환: 결과를 Slack에 반환, 사용자가 검토 후 Jira에 티켓을 생성하여 할당합니다.

BugManager는 초기 버그-팀 라우팅 정확도 75% 이상을 달성했으며, 평균 분류 지연 시간은 53초로 실제 환경에서 실용적입니다. BugManager의 활용은 Miro의 개발 워크플로우에 큰 성과를 가져왔으며, 연간 수 년의 대기 및 조사 시간을 절약할 수 있도록 하였습니다.

BugManager와 함께한 이 여정을 통해 AWS의 생성형 AI 리소스와 샘플 아키텍처를 사용하여 AI 기반 운영 효율성을 향상시킬 수 있습니다. 자세한 가이드라인과 참조 구현체 및 모범 사례는 Generative AI on AWS 페이지에서 확인하세요.

[1] https://aws.amazon.com/blogs/machine-learning/how-miro-uses-amazon-bedrock-to-boost-software-bug-routing-accuracy-and-improve-time-to-resolution-from-days-to-hours/