检测视听语音识别中的对抗攻击
计算机视觉与模式识别
2021-02-15 v2 声音
音频与语音处理
摘要
对抗攻击对深度学习模型构成威胁。然而，关于对抗检测方法的研究，尤其在多模态领域，十分有限。在本工作中，我们提出一种基于音频与视频流之间时间相关性的高效且直接的检测方法。其核心思想是：由于加入了对抗噪声，对抗样本中的音视频相关性将低于良性样本。我们使用同步置信度分数作为视听相关性的代理，并据此检测对抗攻击。据我们所知，这是首个关于视听语音识别模型对抗攻击检测的工作。我们将近期对抗攻击应用于在GRID和LRW数据集上训练的两个视听语音识别模型。实验结果表明，所提方法是检测此类攻击的有效途径。
引用
@article{arxiv.1912.08639,
title = {Detecting Adversarial Attacks On Audiovisual Speech Recognition},
author = {Pingchuan Ma and Stavros Petridis and Maja Pantic},
journal= {arXiv preprint arXiv:1912.08639},
year = {2021}
}
备注
Accepted to ICASSP 2021