探究对抗攻击的重要性及其与基于雷达的人体活动识别系统可解释性的关系
计算机视觉与模式识别
2021-01-27 v1 机器学习
多媒体
摘要
鉴于卷积神经网络（CNN）在解决大量计算机视觉挑战方面取得巨大成功，其正越来越多地应用于智能家居应用中，其中许多应用依赖于对人体活动的自动识别。在此背景下，低功耗雷达设备作为记录传感器近年来日益流行，因为使用这些设备可缓解诸多隐私担忧——这是使用传统摄像机时的一个关键问题。在设计智能家居应用时，另一个常被提及的担忧是这些应用对网络攻击的鲁棒性。例如，众所周知图像与CNN的结合易受对抗样本的攻击，对抗样本是在测试时迫使机器学习模型产生错误分类的恶意数据点。本文中，我们研究基于雷达的CNN在识别人体手势任务中对对抗攻击的脆弱性。通过对四种独特威胁模型的实验，我们表明基于雷达的CNN既易受白盒也易受黑盒对抗攻击。我们还揭示了一种极端对抗攻击情形的存在：仅扰动输入的填充部分、而不触及动作本身发生的帧，即可改变基于雷达的CNN的预测。此外，我们观察到基于梯度的攻击并非随机地施加扰动，而是作用于输入数据的重要特征上。我们利用流行的神经网络可解释性方法Grad-CAM来凸显这些重要特征，从而展示对抗扰动与预测可解释性之间的关联。
引用
@article{arxiv.2101.10562,
title = {Investigating the significance of adversarial attacks and their relation to interpretability for radar-based human activity recognition systems},
author = {Utku Ozbulak and Baptist Vandersmissen and Azarakhsh Jalalvand and Ivo Couckuyt and Arnout Van Messem and Wesley De Neve},
journal= {arXiv preprint arXiv:2101.10562},
year = {2021}
}
备注
Accepted for publication on Computer Vision and Image Understanding, Special issue on Adversarial Deep Learning in Biometrics & Forensics