利用语言语音正则化与伪填充停顿插入提升自发语音合成的鲁棒性
声音
2023-09-20 v3 音频与语音处理
摘要
我们提出一种带语言语音正则化的训练方法，可提升具备填充停顿（FP）插入的自发语音合成方法的鲁棒性。自发语音合成旨在生成具有类人不流畅现象（如 FP）的语音。由于以丰富 FP 词汇对自发语音的复杂数据分布建模具有挑战性，插入 FP 的合成语音质量常受限。为解决该问题，我们提出一种合成自发语音的方法，提升对多样 FP 插入的鲁棒性。正则化用于稳定语言语音（即非 FP）元素的合成。为进一步提升对多样 FP 插入的鲁棒性，该方法利用通过 FP 词预测模型采样得到的伪 FP 以及真实 FP。我们的实验表明，所提方法使含真实与预测 FP 的合成语音自然度分别提升 0.24 和 0.26。
引用
@article{arxiv.2210.09815,
title = {Improving robustness of spontaneous speech synthesis with linguistic speech regularization and pseudo-filled-pause insertion},
author = {Yuta Matsunaga and Takaaki Saeki and Shinnosuke Takamichi and Hiroshi Saruwatari},
journal= {arXiv preprint arXiv:2210.09815},
year = {2023}
}
备注
Accepted to SSW12