Debatts：零样本辩论文本到语音合成
音频与语音处理
2024-12-05 v2
摘要
在辩论中，反驳是最关键的阶段之一，演讲者在此阶段回应对方提出的论点。在此过程中，演讲者根据对方的语境综合自身具有说服力的表达。本工作提出了一种用于反驳的新型零样本文本到语音合成系统，即 Debatts。Debatts 接收两个语音提示，一个来自对方（即对手），一个来自演讲者。来自对手的提示旨在提供辩论风格的韵律，而来自演讲者的提示提供身份信息。具体而言，我们从野外数据集中预训练 Debatts 系统，并集成额外的参考编码器以获取辩论风格的提示。此外，我们还创建了一个辩论数据集以开发 Debatts。在此设定下，Debatts 可以为任意声音生成辩论风格的反驳语音。实验结果证实了所提出系统与经典零样本 TTS 系统相比的有效性。
引用
@article{arxiv.2411.06540,
title = {Debatts: Zero-Shot Debating Text-to-Speech Synthesis},
author = {Yiqiao Huang and Yuancheng Wang and Jiaqi Li and Haotian Guo and Haorui He and Shunsi Zhang and Zhizheng Wu},
journal= {arXiv preprint arXiv:2411.06540},
year = {2024}
}