静音段对语音反欺骗的影响
音频与语音处理
2023-09-22 v1 声音
摘要
当前的语音反欺骗计数器措施（CMs）在特定数据集上表现出优异性能。然而，通过语音活动检测（VAD）去除测试语音中的静音段会严重降低性能。本文分析了静音段对语音反欺骗的影响。首先，探讨了产生影响的原因，包括静音段时长占比与静音内容。由文本到语音（TTS）算法生成的欺骗语音中静音段时长占比低于真实语音；且不同波形生成器产生的静音内容相较于真实语音存在差异。随后探讨了静音段对模型预测的影响。即使在重新训练后，基于神经网络端到端TTS算法生成的欺骗语音在去除静音段后错误率显著上升。为说明静音段对CMs产生影响的原因，通过类激活映射（CAM）可视化了某CM的注意力分布。此外，对静音或非静音进行掩码的实验实现与分析表明，静音段时长占比对检测TTS具有重要意义，而静音内容对检测语音转换（VC）至关重要。基于实验结果，还提出了通过掩码静音段提升CMs对未知欺骗攻击鲁棒性的方法。最后，介绍了通过拼接静音段攻击反欺骗CMs，以及通过低通滤波缓解VAD与静音攻击的手段。
引用
@article{arxiv.2309.11827,
title = {The Impact of Silence on Speech Anti-Spoofing},
author = {Yuxiang Zhang and Zhuo Li and Jingze Lu and Hua Hua and Wenchao Wang and Pengyuan Zhang},
journal= {arXiv preprint arXiv:2309.11827},
year = {2023}
}
备注
16 pages, 9 figures, 13 tables