面向智能体的低延迟语音到语音架构 i-LAVA 解析
声音
2025-09-30 v2 人工智能
摘要
我们实验了一种面向实时对话应用的低延迟端到端语音到语音通信模型，以对其进行优化。通过分析语音到语音（V-2-V）系统中必不可少的组件，即自动语音识别（ASR）、文本到语音（TTS）和对话管理，我们研究如何在保持高质量交互的同时减少处理时间，以识别优化 V-2-V 系统的关键杠杆。我们的工作识别到，TTS 组件——即生成充满情感、包括自然停顿和惊叹声的逼真语音——对实时因子（RTF）影响最大。实验的 V-2-V 架构利用 CSM1b 能够理解语音和对话上下文的语气，能够通过摄取先前交互的音频和文本来生成语境准确的语音。我们探索了通过减少 TTS 解码器使用的残差向量量化（RVQ）迭代次数来进行优化，这些迭代次数以降低语音生成质量为代价。我们的实验评估还表明，对于基于 CSM 的 V-2-V 实现，最重要的优化可以通过减少 RVQ 迭代次数以及 Mimi 中使用的 codebooks 数量来实现。
引用
@article{arxiv.2509.20971,
title = {i-LAVA: Insights on Low Latency Voice-2-Voice Architecture for Agents},
author = {Anupam Purwar and Aditya Choudhary},
journal= {arXiv preprint arXiv:2509.20971},
year = {2025}
}
备注
This paper analyzes a low-latency, end-to-end voice-to-voice (V-2-V) architecture, identifying that the Text-to-Speech (TTS) component has the highest impact on real-time performance. By reducing the number of Residual Vector Quantization (RVQ) iterations in the TTS model, latency can be effectively halved. Its accepted at AIML Systems 2025