零样本TTS中衡感多样性的测度：新指标、基准与探索
音频与语音处理
2026-04-02 v3
摘要
衡感多样性是实现零样本文本转语音(TTS)自然性和表达性的关键因素。然是，频繁使用的声学指标仅提供部分衡感变化视图，与人类感知关联性较差，导致可靠量化衡感多样性的问题仍未得到充分探索。为弥合这一鸿沟，我们引入ProsodyEval，一个衡感多样性评估数据集，提供衡感平均意见得分(PMOS)以及常规声学指标。ProsodyEval包含1000个语音样本，源自7个主流TTS系统，基于2000个人类评分。基于此，我们提出离散语音加权编辑距离(DS-WED)，一种新的客观多样性指标，通过加权编辑距离对语义标记进行量化，以衡感变化。在ProsodyEval上的实验表明，DS-WED在与人类判断相关性上显著优于现有声学指标，同时在语音标记化（基于HuBERT和WavLM）方面保持高度鲁棒。利用DS-WED，我们对最新开源TTS系统在LibriSpeech test-clean和Seed-TTS test-en上进行基准测试，进一步的探索揭示了影响衡感多样性的多个因素，包括生成模型范式、时长控制和强化学习。此外，我们发现当前的大型音频语言模型(LALM)在捕捉衡感变化方面仍有局限。语音样本可在https://prosodyeval.github.io获取。
引用
@article{arxiv.2509.19928,
title = {Measuring Prosody Diversity in Zero-Shot TTS: A New Metric, Benchmark, and Exploration},
author = {Yifan Yang and Bing Han and Hui Wang and Long Zhou and Wei Wang and Mingyu Cui and Xu Tan and Xie Chen},
journal= {arXiv preprint arXiv:2509.19928},
year = {2026}
}
备注
Accepted in ICASSP 2026