推断与去噪：基于因果推断的神经语音增强
音频与语音处理
2022-11-03 v1 人工智能
机器学习
神经与进化计算
声音
摘要
本研究将噪声存在建模为干预，在因果推断范式下解决语音增强（SE）任务。基于潜在结果框架，所提出的基于因果推断的语音增强（CISE）利用噪声检测器将干预后的含噪语音中的干净帧与含噪帧分离，并将两类帧分配给两个基于掩码的提升模块（EM）以执行噪声条件 SE。具体而言，我们在训练期间以噪声存在作为 EM 选择的引导，噪声检测器根据每帧噪声存在的预测来选择增强模块。此外，我们推导了 SE 专用的平均处理效应以充分量化因果效应。实验证据表明，CISE 在所研究设定下优于非因果的基于掩码的 SE 方法，且比更复杂的 SE 模型具有更好的性能与效率。
引用
@article{arxiv.2211.01189,
title = {Inference and Denoise: Causal Inference-based Neural Speech Enhancement},
author = {Tsun-An Hsieh and Chao-Han Huck Yang and Pin-Yu Chen and Sabato Marco Siniscalchi and Yu Tsao},
journal= {arXiv preprint arXiv:2211.01189},
year = {2022}
}
备注
Submitted to ICASSP 2023