음성 에이전트 테스트 혁신: Nova Sonic Test Harness 활용법

음성 에이전트의 새로운 테스트 방식: Nova Sonic Test Harness 활용법

고객과의 상호작용 방식을 혁신하고 있는 음성 에이전트는 일정 예약, 주문 문의, 계정 관리 등을 자연어로 처리하는 역할을 하고 있습니다. 그러나 이러한 에이전트의 능력이 향상됨에 따라 큰 도전 과제가 생기는데, 그것은 바로 테스트 방법입니다. 오늘날 대부분의 팀이 사용하는 방식은 사용자가 시스템에 직접 말을 걸고 그 응답을 듣는 것인데, 이는 매우 느리고 비효율적이며 규모 확장이 어렵습니다.

이러한 문제를 해결하고자 AWS에서는 Nova Sonic Test Harness라는 새로운 오픈 소스 프레임워크를 개발하였습니다. 이 도구는 음성 에이전트의 품질을 대규모로 평가하고, 자동화된 방법으로 시스템 프롬프트와 도구 구성을 빠르게 튜닝하는 데 도움을 줍니다.

Nova Sonic Test Harness가 해결하는 문제

1. 시스템 프롬프트와 도구 구성의 반복은 매우 시간이 오래 걸립니다. 매번 프롬프트를 수정할 때마다 수십 개의 대화 시나리오를 수동으로 재테스트해야 하기 때문에 비효율적입니다.
2. 음성 에이전트의 품질을 평가할 신뢰할 수 있는 프레임워크가 없습니다. 에이전트의 각 시나리오에 대한 세부적인 검증이나 미세한 퇴보 사항을 고객이 발견하기 전에 잡아내는 것이 어렵습니다.

Nva Sonic Test Harness의 작동 방식

테스트 하니스는 네 가지 주된 작업을 수행합니다: 테스트 시나리오를 구성하고, Nova Sonic과의 대화를 실행하며, 결과를 평가하고, 보고서를 생성합니다. 전체 프로세스는 자동으로 진행됩니다.

예를 들어, "healthcare_appointment_booking"이라는 테스트 시나리오에서는 Nova Sonic이 Dr. Smith 의사의 접수원 역할을 하며, 사용자는 예약을 위해 전화를 거는 환자 역할을 합니다. 이 시나리오는 최대 8번의 턴으로 구성되며, 자동 평가도 지원합니다.

개선된 자동화된 음성 에이전트 테스트 방식

이 도구는 손쉽게 음성 에이전트 테스트를 가능하게 합니다. 전통적인 방식처럼 하드웨어 마이크를 사용하지 않고, API와 동일한 방법으로 Nova Sonic을 테스트해볼 수 있습니다.

테스트 하니스는 수직으로 확장 가능한 구조로, 명령어 하나로 수백 개의 시나리오를 병렬로 실행할 수 있습니다. 또한 LLM 기반의 평가를 통해 비결정론적인 응답 문제를 해결하고, 텍스트와 오디오 간의 차이점을 탐지할 수 있게 해줍니다.

Nova Sonic Test Harness를 통해 음성 에이전트를 보다 효율적으로 테스트하여 고객 경험을 개선하고, 대규모 배포 전에 버그 및 문제를 사전에 방지할 수 있습니다.

결론

Nova Sonic Test Harness는 기존의 음성 에이전트 테스트 방식에 혁신을 가져다 줍니다. 자동화된 테스트 솔루션을 통해 보다 신속하고 효율적으로 음성 에이전트를 튜닝하고 검증할 수 있으며, 품질 개선에 크게 기여할 것입니다.

[1] https://aws.amazon.com/blogs/machine-learning/evaluate-your-amazon-nova-sonic-voice-agent-at-scale-no-microphone-required/