基于并行 RNN 的更高效实时语音增强的推断跳过方法
声音
2022-07-25 v1 音频与语音处理
摘要
基于深度神经网络（DNN）的语音增强模型因其良好的性能而受到广泛关注。然而，由于其高计算成本，难以在实时应用中部署强大的 DNN。典型的压缩方法如剪枝和量化未能充分利用数据特性。在本文中，我们将 Skip-RNN 策略引入具有并行 RNN 的语音增强模型中。RNN 的状态间歇性更新，且不中断输出掩码的更新，从而在不产生明显音频伪影的情况下显著降低计算负载。为了更好地利用语音与噪声之间的差异，我们进一步用语音活动检测（VAD）引导来正则化跳过策略，节省更多计算负载。在一个高性能语音增强模型——双路径卷积循环网络（DPCRN）上的实验表明，我们的策略优于网络剪枝或直接训练更小模型等策略。我们还在另外两个有竞争力的语音增强模型上验证了所提策略的泛化性。
引用
@article{arxiv.2207.11108,
title = {Inference skipping for more efficient real-time speech enhancement with parallel RNNs},
author = {Xiaohuai Le and Tong Lei and Kai Chen and Jing Lu},
journal= {arXiv preprint arXiv:2207.11108},
year = {2022}
}
备注
11 pages, 8 figures, accepted by IEEE/ACM TASLP