基于对抗多任务深度学习的低算法延迟噪声鲁棒语音活动检测
音频与语音处理
2022-07-06 v1
摘要
语音活动检测（VAD）是多种语音处理系统中重要的预处理步骤。在实际应用中，VAD 应能在有噪与无噪环境中检测语音，同时不引入显著延迟。本工作中，我们提出在训练有监督 VAD 时采用对抗多任务学习方法。该方法已应用于最先进的 VAD Waveform-based Voice Activity Detection。此外，我们在不同算法延迟下考察了 VAD 的性能，算法延迟是延迟的一个重要因素。观察到向模型引入对抗多任务学习提升了曲线下面积（AUC）方面的性能，尤其在噪声环境中，而在较高 SNR 水平下性能未退化。对抗多任务学习仅应用于训练阶段，因此在测试时不引入额外开销。进一步考察了性能与算法延迟的相关性，观察到当算法延迟从 398 ms 降至 23 ms 时 VAD 性能退化仅较温和。
引用
@article{arxiv.2207.01691,
title = {Adversarial Multi-Task Deep Learning for Noise-Robust Voice Activity Detection with Low Algorithmic Delay},
author = {Claus Meyer Larsen and Peter Koch and Zheng-Hua Tan},
journal= {arXiv preprint arXiv:2207.01691},
year = {2022}
}