使用去噪器联合对抗微调防御混合语音识别的对抗攻击
音频与语音处理
2022-04-11 v1 密码学与安全
声音
摘要
对抗攻击对自动语音识别（ASR）系统构成威胁，提出防御措施以保护它们变得必不可少。本文通过实验表明，K2 conformer 混合 ASR 受白盒对抗攻击的强烈影响。我们提出三种防御手段——去噪器预处理器、对抗微调 ASR 模型，以及去噪器与 ASR 的联合对抗微调模型。我们的评估显示，去噪器预处理器（在离线对抗样本上训练）无法防御自适应白盒攻击。然而，使用去噪器与 ASR 的串联模型对抗微调去噪器可提供更强鲁棒性。我们评估了该防御的两种变体——一种更新两个模型的参数，另一种保持 ASR 冻结。联合模型相对于基线在快速梯度符号法（FGSM）不同 范数攻击下，带来 19.3% ground truth（GT）词错率（WER）的平均绝对下降。冻结 ASR 参数的联合模型对 7 次迭代的投影梯度下降（PGD）提供最佳防御，相对于基线产生 22.3% GT WER 的平均绝对上升；对 500 次迭代的 PGD，产生 45.08% GT WER 的平均绝对下降和 68.05% 对抗目标 WER 的上升。
引用
@article{arxiv.2204.03851,
title = {Defense against Adversarial Attacks on Hybrid Speech Recognition using Joint Adversarial Fine-tuning with Denoiser},
author = {Sonal Joshi and Saurabh Kataria and Yiwen Shao and Piotr Zelasko and Jesus Villalba and Sanjeev Khudanpur and Najim Dehak},
journal= {arXiv preprint arXiv:2204.03851},
year = {2022}
}
备注
Submitted to Interspeech 2022