AWS Trainium을 활용한 Deepgram 음성 AI 최적화 사례

AWS Trainium을 활용한 Deepgram 음성 AI 최적화

서론

최근 인공지능(AI)의 중요한 분야로 자리 잡은 음성 AI는 음성 인식 및 생성 같은 다양한 기능을 포함하고 있으며, Deepgram은 이 분야에서 선도적인 기업 중 하나입니다. Deepgram은 AWS Trainium을 통해 대규모 음성 데이터를 처리하고 비용 효율성을 극대화하기 위한 최적화 작업을 진행했습니다. 이번 블로그에서는 AWS Trainium과 TorchNeuron을 활용해 Deepgram의 Nova-3 모델을 최적화한 사례를 소개하겠습니다.

본론

Deepgram은 Nova-3 모델을 AWS Trainium2에 포팅함으로써 오프라인 배치 작업의 추론 최적화를 목표로 했습니다. 이 과정에서 TorchNeuron과 Neuron Compiler를 사용하여 모델 운영 효율성을 높였습니다. 초기 PyTorch 코드를 시작으로, TorchNeuron을 활용해 Nova-3 모델을 Trainium2에 적용하고 CPU 백업 없이 모든 모델 연산을 수행할 수 있었습니다.

그 후 NKILib의 사전 빌드된 커널을 사용하여 일부 레이어를 직접 교체하고 성능을 향상시켰습니다. 이를 통해 Deepgram은 AWS SageMaker AI에 모델을 셀프 호스팅하는 고객들에게 더욱 저렴한 가격에 더 나은 모델을 제공할 수 있게 되었습니다.

결론

AWS Trainium과 Neuron Compiler를 활용한 Deepgram의 Nova-3 음성 인식 모델 최적화 사례는 대규모 음성 데이터 처리에서의 비용 절감과 효율성 증대를 보여주었습니다. 더욱이 TorchNeuron의 통합으로 AWS Trainium의 네이티브 PyTorch 프레임워크 적용이 가능해졌습니다. 이번 최적화 작업은 이러한 기술들이 AI 모델 배포와 최적화에 어떻게 활용되는지를 잘 보여주고 있습니다.

AWS Neuron 문서를 통해 동일한 방식으로 모델을 최적화해보길 권장합니다.

[1] https://aws.amazon.com/blogs/machine-learning/how-deepgram-optimized-voice-ai-at-scale-with-aws-trainium/