面向黑盒深度学习模型的高效查询决策型稀疏攻击
机器学习
2023-03-27 v2 人工智能
密码学与安全
计算机视觉与模式识别
摘要
尽管我们竭尽全力，深度学习模型仍极易受到施加于输入的微小对抗扰动的影响。仅从机器学习模型的输出中提取信息以对黑盒模型构造对抗扰动的能力，是对现实世界系统（如自动驾驶汽车或作为服务暴露的机器学习模型（MLaaS））的实际威胁。其中特别令人关注的是稀疏攻击。黑盒模型中稀疏攻击的实现表明机器学习模型比我们所认为的更为脆弱。由于这些攻击旨在仅通过观察模型查询返回的决策（预测标签），以 l_0 范数度量的扰动像素数量最少来误导模型，即所谓的基于决策的攻击设定。但此类攻击会导致一个 NP 难优化问题。我们针对该问题开发了一种基于进化的算法——SparseEvo，并在卷积深度神经网络与视觉 transformer 上进行了评估。值得注意的是，视觉 transformer 尚未在基于决策的攻击设定下被研究过。对于非定向与定向攻击，SparseEvo 所需的模型查询次数均显著少于最先进的稀疏攻击 Pointwise。该攻击算法虽概念简单，但在 ImageNet 等标准计算机视觉任务中，仅以有限查询预算也能与最先进的基于梯度的白盒攻击相竞争。重要的是，高效查询的 SparseEvo 以及一般而言的基于决策的攻击，对部署系统的安全性提出了新问题，并为研究和理解机器学习模型的鲁棒性提供了新方向。
引用
@article{arxiv.2202.00091,
title = {Query Efficient Decision Based Sparse Attacks Against Black-Box Deep Learning Models},
author = {Viet Quoc Vo and Ehsan Abbasnejad and Damith C. Ranasinghe},
journal= {arXiv preprint arXiv:2202.00091},
year = {2023}
}
备注
Published as a conference paper at the International Conference on Learning Representations (ICLR 2022). Code is available at https://sparseevoattack.github.io/