基于流匹配的非自回复口语对话生成：ZipVoice-Dialog
摘要
生成 spoken dialogue（口语对话）本质上比 monologue text-to-speech（单语文本转语音）更复杂，因 it demands both realistic turn-taking（真实的轮次） and the maintenance of distinct speaker timbres（保持独特的说话人音色）。虽然 existing autoregressive（自回复）AR models（模型）已取得进展，但 they often suffer from high inference latency（高推理延迟） and stability issues（稳定性问题）。为克服这些限制，我们提出ZipVoice-Dialog，一种基于 flow-matching（流匹配）的非自回复（NAR）零样本口语对话生成模型。观察到将 vanilla flow-matching（基础流匹配）应用于对话生成会导致 speech intelligibility（语音可理解性）和 turn-taking precision（轮次精确性）较差，我们引入两种简单而有效的方法来适配 flow-matching 架构用于对话生成：（1）一种 curriculum learning（课程学习）策略确保 robust speech-text alignment（稳健的语音-文本对齐）；（2）speaker-turn embeddings（说话人-轮次嵌入）以控制 precise speaker turn-taking（精确的说话人轮次）。此外，我们提出专门策略支持 stereo dialogue（立体声对话）生成。鉴于该领域缺乏 training datasets（训练数据集），我们 curate（策划）并 release（发布）OpenDialog，这是第一个大规模（6.8k 小时）开源口语对话数据集，源自 in-the-wild speech data（野外语音数据）。此外，为进行 fair and rigorous（公平且严谨）的 evaluations（评估），我们 established a benchmark（基准）来全面评估 dialogue generation（对话生成）模型。实验表明我们提出的方法和 dataset 的有效性， ZipVoice-Dialog 在 inference speed（推理速度）、intelligibility（可理解性）、speaker turn-taking accuracy（说话人轮次精确性）和 speaker similarity（说话人相似性）方面均表现出色。我们的 code（代码）、model checkpoints（模型检查点）和 OpenDialog dataset（OpenDialog 数据集）已公开于 https://github.com/k2-fsa/ZipVoice。
引用
@article{arxiv.2507.09318,
title = {ZipVoice-Dialog: Non-Autoregressive Spoken Dialogue Generation with Flow Matching},
author = {Han Zhu and Wei Kang and Liyong Guo and Zengwei Yao and Fangjun Kuang and Weiji Zhuang and Zhaoqing Li and Zhifeng Han and Dong Zhang and Xin Zhang and Xingchen Song and Lingxuan Ye and Long Lin and Daniel Povey},
journal= {arXiv preprint arXiv:2507.09318},
year = {2026}
}
备注
ACL 2026 Findings