利用 ASR 或 ASV 预训练 Conformer 用于反欺骗对策
声音
2023-10-31 v2 音频与语音处理
摘要
发现欺骗数据的合成伪影将有助于反欺骗对策(CMs)系统区分欺骗语音与真实语音。Conformer 结合了卷积神经网络与 Transformer 的优势，使其能够聚合全局与局部信息。这或许有助于 CM 系统捕获隐藏于局部与全局的合成伪影。本文中，我们提出基于迁移学习的 MFA-Conformer 结构用于 CM 系统。通过以不同任务预训练 Conformer 编码器，增强了 CM 系统的鲁棒性。所提方法在中英文欺骗检测数据库上进行了评估。在 FAD 干净集中，所提方法取得了 0.04% 的 EER，显著优于基线。我们的系统也与基于 Wav2Vec 2.0 的预训练方法相当。此外，我们还提供了对不同模型鲁棒性的详细分析。
引用
@article{arxiv.2307.01546,
title = {Pretraining Conformer with ASR or ASV for Anti-Spoofing Countermeasure},
author = {Yikang Wang and Hiromitsu Nishizaki and Ming Li},
journal= {arXiv preprint arXiv:2307.01546},
year = {2023}
}
备注
7 pages, 2 figures