面向背景移除与保留的可控掩码语音预测的高级零样文本到语音系统
声音
2025-02-12 v1 音频与语音处理
摘要
声学背景在自然对话中起着至关重要的作用。它提供了上下文，帮助听众理解环境，但强背景会使听众难以理解 spoken words。对这些背景的适当处理取决于具体情境：尽管可能需要移除背景以确保语音清晰，但有时保留背景对于维持语音的上下文完整性至关重要。尽管近期在零样文本到语音技术方面取得了进展，但当前系统往往难以处理包含背景的语音提示。为解决这些挑战，我们提出了一种可控掩码语音预测策略，搭配双说话者编码器，利用与任务相关的控制信号来指导双背景移除和保留目标的预测。实验结果表明，我们的方法能够在各种声学条件下实现对背景的精确控制，并且在未见情境中展现出强大的泛化能力。
引用
@article{arxiv.2502.07345,
title = {Advanced Zero-Shot Text-to-Speech for Background Removal and Preservation with Controllable Masked Speech Prediction},
author = {Leying Zhang and Wangyou Zhang and Zhengyang Chen and Yanmin Qian},
journal= {arXiv preprint arXiv:2502.07345},
year = {2025}
}
备注
Accepted by ICASSP 2025