查询源谱分析：针对基于查询的黑盒攻击的高效且稳健的防御
密码学与安全
2024-10-17 v2
摘要
基于查询的黑盒攻击已成为机器学习系统的重大威胁，攻击者可操控输入查询以生成误分类模型的对抗性示例。为抵御此类攻击，研究人员提出了基于状态的防御模型 (SDM)，用于检测对抗查询序列并拒绝“类似”于历史查询的查询。现有最先进 (SOTA) SDM（如 BlackLight 和 PIHA）在防御此类攻击方面显示出色。然而，最近的研究表明，这些方法对 Oracle 引导的自适应抽样 (OARS) 攻击极其脆弱。OARS 可轻易集成到现有攻击算法中，通过利用 SDM 泄露的决策信息生成带有精细调谐扰动方向和步长的查询，以规避 SDM。在本文中，我们提出了一种新方法——查询源谱分析 (QPA)，用于更稳健且更高效的 SDM。QPA 将历史查询之间的关系封装为序列特征，以捕获恶意查询序列与良性查询序列之间的根本差异。为利用查询源谱，我们提出了一种具有动态管理的高效查询源谱分析算法。我们在四个广泛使用的数据集上对 QPA 与两个基线方法进行了评估，涵盖六种查询-based 黑盒攻击算法。结果表明，QPA 在防御效果和效率方面优于基线方法，无论是非自适应还是自适应攻击。具体而言，QPA 将 OARS 的攻击成功率 (ASR) 降至 4.08%，而 BlackLight 和 PIHA 分别为 77.63% 和 87.72%。此外，QPA 还比 BlackLight 和 PIHA 高出 7.67 倍和 2.25 倍。
引用
@article{arxiv.2405.20641,
title = {Query Provenance Analysis: Efficient and Robust Defense against Query-based Black-box Attacks},
author = {Shaofei Li and Ziqi Zhang and Haomin Jia and Ding Li and Yao Guo and Xiangqun Chen},
journal= {arXiv preprint arXiv:2405.20641},
year = {2024}
}
备注
The final version of this paper is going to appear in IEEE Symposium on Security and Privacy 2025