VINP：用于联合ASR有效语音去回声和盲RIR识别的变分贝叶斯推断带神经语音先验
音频与语音处理
2025-09-10 v3 人工智能
机器学习
摘要
语音信号因回声引起的退化包含了无回声源语音和房间脉冲响应（RIR）的关键信息。本工作提出了一种变分贝叶斯推断（VBI）框架，集成神经语音先验（VINP），用于联合语音去回声和盲RIR识别。在VINP中，基于卷积传递函数（CTF）近似构建了时频（T-F）域的概率信号模型。首次提出使用任意判别性去回声深度神经网络（DNN）来估计无回声语音的先验分布，纳入概率模型中。通过整合语音信号与无回声语音先验，VINP获得了无回声语音谱和CTF滤波器的最大后验（MAP）和最大似然（ML）估计。经过简单的变换，可估计出无回声语音和RIR的波形。VINP对自动语音识别（ASR）系统有效，区别于大多数基于深度学习（DL）的单声道去回声方法。实验表明，在单声道语音去回声任务中，VINP在平均意见分数（MOS）和词错误率（WER）方面实现了最先进（SOTA）性能。在盲RIR识别任务中，实验表明VINP在估计60 dB下 reverberation time（RT60）和直接到回声比（DRR）估计方面实现了SOTA性能。代码和音频样本已在线发布。
引用
@article{arxiv.2502.07205,
title = {VINP: Variational Bayesian Inference with Neural Speech Prior for Joint ASR-Effective Speech Dereverberation and Blind RIR Identification},
author = {Pengyu Wang and Ying Fang and Xiaofei Li},
journal= {arXiv preprint arXiv:2502.07205},
year = {2025}
}
备注
Submitted to IEEE/ACM Trans. on TASLP