预处理器至关重要！针对机器学习系统的现实决策型攻击
密码学与安全
2023-07-24 v2 计算机视觉与模式识别
机器学习
摘要
决策型攻击仅通过硬标签查询来构造针对机器学习 (ML) 模型的对抗样本。这些攻击主要被直接应用于独立的神经网络。然而在实践中，ML 模型仅是更大学习系统中的一个组件。我们发现，通过在分类器前添加一个预处理器，最先进的基于查询的攻击在攻击预测流水线时的效力比攻击模型本身最多降低 7。我们将此差异解释为大多数预处理器对输入空间引入了某种不变性。因此，未察觉该不变性的攻击不可避免地浪费大量查询来重新发现或克服它。为此，我们开发了如下技术：(i) 逆向工程预处理器，然后 (ii) 利用提取的信息攻击端到端系统。我们的预处理器提取方法仅需数百次查询，且我们的预处理器感知攻击恢复了与攻击模型本身相同的效力。代码见 https://github.com/google-research/preprocessor-aware-black-box-attack。
引用
@article{arxiv.2210.03297,
title = {Preprocessors Matter! Realistic Decision-Based Attacks on Machine Learning Systems},
author = {Chawin Sitawarin and Florian Tramèr and Nicholas Carlini},
journal= {arXiv preprint arXiv:2210.03297},
year = {2023}
}
备注
ICML 2023. Code can be found at https://github.com/google-research/preprocessor-aware-black-box-attack