SE-Bridge：基于一致性Brownian Bridge的语音增强
声音
2023-05-24 v1 人工智能
摘要
我们提出SE-Bridge，一种用于语音增强（SE）的新方法。在近期将扩散模型应用于语音增强后，我们可以通过求解随机微分方程（SDE）实现语音增强。每个SDE对应于一个概率流常微分方程（PF-ODE），且PF-ODE解的轨迹由不同时刻的语音状态组成。我们的方法基于一致性模型，其确保同一PF-ODE轨迹上的任意语音状态对应于相同的初始状态。通过整合Brownian Bridge过程，该模型无需对抗训练即可生成高可懂度语音样本。这是将一致性模型应用于SE任务的首次尝试，在多项指标上取得最先进结果，同时相比基于扩散的基线节省15倍采样所需时间。我们在多个数据集上的实验证明了SE-Bridge在SE中的有效性。此外，我们通过包括自动语音识别（ASR）与说话人验证（SV）在内的下游任务广泛实验表明，SE-Bridge能有效支持多种下游任务。
引用
@article{arxiv.2305.13796,
title = {SE-Bridge: Speech Enhancement with Consistent Brownian Bridge},
author = {Zhibin Qiu and Mengfan Fu and Fuchun Sun and Gulila Altenbek and Hao Huang},
journal= {arXiv preprint arXiv:2305.13796},
year = {2023}
}