针对基于查询的黑盒攻击之有状态防御的理论化权衡
机器学习
2023-08-01 v1 密码学与安全
摘要
对抗样本以惊人的成功率威胁机器学习系统的完整性，即使在受限黑盒条件下亦然。有状态防御已成为一种有效对策，通过维护近期查询缓冲区并检测过于相似的新查询来发现潜在攻击。然而，这些防御从根本上在攻击检测率与误报率之间存在权衡，且该权衡通常通过手工挑选经验表现良好的特征提取器和相似度阈值来优化。目前鲜有关于此权衡的形式化极限以及影响它的特征提取器/底层问题域确切性质的理解。本工作旨在通过提供有状态防御检测率与误报率权衡的理论刻画来弥补这一空白。我们给出一类通用特征提取器检测率的上界，并分析该权衡对黑盒攻击收敛性的影响。随后，我们在多个数据集和有状态防御上以实证评估支持我们的理论发现。
引用
@article{arxiv.2307.16331,
title = {Theoretically Principled Trade-off for Stateful Defenses against Query-Based Black-Box Attacks},
author = {Ashish Hooda and Neal Mangaokar and Ryan Feng and Kassem Fawaz and Somesh Jha and Atul Prakash},
journal= {arXiv preprint arXiv:2307.16331},
year = {2023}
}
备注
2nd AdvML Frontiers Workshop at ICML 2023