面向深度神经网络的实际部署阶段后门攻击研究
密码学与安全
2022-05-30 v2 计算机视觉与模式识别
摘要
AI安全领域的一个主要目标是安全可靠地生产和部署用于现实应用的深度学习模型。为此，近年来，针对深度神经网络（DNN）在生产阶段（或训练阶段）基于数据投毒的后门攻击及其相应防御得到了广泛探索。然而，讽刺的是，部署阶段的后门攻击——通常可能发生在非专业用户的设备上，因此在现实场景中威胁性可能更大——却很少受到学界的关注。我们将这种警惕性的失衡归因于现有部署阶段后门攻击算法的实用性较弱以及现实世界攻击演示的不足。为填补这一空白，本文研究了部署阶段针对DNN后门攻击的现实威胁。我们的研究基于一种常用的部署阶段攻击范式——对抗性权重攻击，即攻击者选择性地修改模型权重，将后门嵌入已部署的DNN中。为接近实际可行性，我们提出了首个用于后门注入的灰盒且物理上可实现的权重攻击算法，即子网替换攻击（SRA），该算法仅需受害者模型的架构信息，并能支持现实世界中的物理触发器。我们进行了广泛的实验模拟和系统级现实世界攻击演示。我们的结果不仅表明了所提攻击算法的有效性和实用性，还揭示了一种新型计算机病毒的实际风险，该病毒可能广泛传播并隐秘地将后门注入用户设备中的DNN模型。通过本研究，我们呼吁更多关注DNN在部署阶段的脆弱性。
引用
@article{arxiv.2111.12965,
title = {Towards Practical Deployment-Stage Backdoor Attack on Deep Neural Networks},
author = {Xiangyu Qi and Tinghao Xie and Ruizhe Pan and Jifeng Zhu and Yong Yang and Kai Bu},
journal= {arXiv preprint arXiv:2111.12965},
year = {2022}
}