对话语音合成中话轮转换线索的自动评估
音频与语音处理
2023-05-30 v1 声音
摘要
话轮转换是人类交流的基本方面，说话者通过韵律线索传达其保持或让出话轮的意图。利用最近提出的语音活动预测（Voice Activity Projection）模型，我们提出了一种自动评估方法，用于衡量对话语音合成的这些方面。我们研究了三个商业和两个开源的文本到语音（TTS）系统在模拟话轮上生成话轮转换线索的能力。通过改变刺激或控制韵律，我们分析模型的性能。我们表明，尽管商业 TTS 大体提供恰当的线索，它们常产生模糊信号，且仍有改进空间。在朗读或自发语音上训练的 TTS 产生强的话轮保持但弱的话轮让出线索。我们认为，这种关注交互功能方面的方法，为其他重要语音指标（如可懂度与自然度）提供了有益的补充。
引用
@article{arxiv.2305.17971,
title = {Automatic Evaluation of Turn-taking Cues in Conversational Speech Synthesis},
author = {Erik Ekstedt and Siyang Wang and Éva Székely and Joakim Gustafson and Gabriel Skantze},
journal= {arXiv preprint arXiv:2305.17971},
year = {2023}
}
备注
Accepted at INTERSPEECH 2023, 5 pages, 2 figures, 4 tables