中文

Thunder:基于 Brownian 桥的统一回归-扩散语音增强模型(单步逆过程)

声音 2024-06-11 v1 人工智能 计算与语言 音频与语音处理

摘要

扩散基语音增强已显示出有前景的效果,但可能因推断时间较慢而受限。可用回归模型生成的增强音频初始化扩散过程,以减少所需计算步数。然而,这类方法通常需要回归模型,进而增加系统复杂度。我们提出 Thunder,一种统一的回归-扩散模型,利用 Brownian 桥过程使其可在两种模式下运行。通过将扩散时间步长设为接近 1 可访问回归模式。然而,由于梯度不稳定,标准基于得分的扩散建模在此设置下表现不佳。为缓解此问题,我们修改扩散模型,预测干净语音而非得分函数,实现了更紧凑的模型规模和更少的逆步骤,同时保持竞争性能。

关键词

引用

@article{arxiv.2406.06139,
  title  = {Thunder : Unified Regression-Diffusion Speech Enhancement with a Single Reverse Step using Brownian Bridge},
  author = {Thanapat Trachu and Chawan Piansaddhayanon and Ekapol Chuangsuwanich},
  journal= {arXiv preprint arXiv:2406.06139},
  year   = {2024}
}

备注

5 pages, 3 figures, 4 tables, This paper will be submitted in the interspeech conference