실시간 음성 애플리케이션 구축 방법과 사례

실시간 음성 애플리케이션 구축: Amazon SageMaker AI와 vLLM의 활용

인공지능(AI) 번역 기술의 발전은 음성 인식 및 실시간 트랜스크립션 서비스의 구현을 현실로 만들었습니다. 특히 AI가 포함된 음성 기반 애플리케이션은 여러 산업에서 필수적인 요소로 자리 잡고 있습니다. 이번 포스트에서는 Amazon SageMaker AI와 vLLM을 사용하여 실시간 음성 애플리케이션을 구축하는 방법과 활용 사례를 살펴보겠습니다.

핵심 콘텐츠 및 사례

1. 실시간 음성 트랜스크립션의 필요성
   실시간 음성 트랜스크립션은 고객지원 센터, 라이브 자막 제공, 접근성 도구 등 다양한 분야에서 빠르고 정확한 음성 인식이 요구됩니다. 데이터는 항상 양방향으로 흐르며, 전통적인 요청-응답 방식은 전체 오디오 수신 후에야 처리될 수 있어 지연을 초래합니다.

2. Amazon SageMaker AI와 vLLM의 결합
   2025년 11월부터 Amazon SageMaker AI는 양방향 스트리밍을 지원하여 실시간 추론을 가능하게 했습니다. vLLM은 Realtime API를 통해 오디오 스트림을 실시간으로 트랜스크립션할 수 있으며, 클라이언트와 서버 간의 양방향 스트리밍을 지원합니다. 이 두 기능을 결합하여 Voxtral-Mini-4B-Realtime-2602 모델을 SageMaker AI 엔드포인트에 배포하는 과정을 설명합니다.

   

3. 양방향 스트리밍의 구현
   HTTP/2와 WebSocket을 사용하여 클라이언트와 서버 사이의 실시간 데이터 전송을 지원합니다. 오디오 데이터는 WebSocket을 통해 SageMaker AI로 전송되고, 실시간 트랜스크립션 텍스트는 반대로 클라이언트로 전송됩니다. SageMaker AI는 HTTP/2 이벤트 스트림 프로토콜과 WebSocket 간의 프로토콜 변환을 자동으로 처리합니다.

결론 및 초점

Amazon SageMaker AI와 vLLM을 사용하면 복잡한 스트리밍 인프라를 개발할 필요 없이 쉽고 빠르게 음성 인식 서비스를 배포할 수 있습니다. 이 솔루션은 음성 인식 외에도 실시간 번역, 인터랙티브 오디오 생성, 다중 턴 스트리밍 대화와 같은 다양한 실시간 요구 사항을 충족시킬 수 있습니다.

자세한 정보는 원문을 참고하세요.

[1] 원문 URL: AWS Blog Article