BlackboxBench：黑盒对抗攻击的综合基准测试
密码学与安全
2025-05-27 v2
摘要
对抗样本是评估深度神经网络 (DNNs) 脆弱性的知名工具。尽管已开发了许多对抗攻击算法，但在实际场景中仍具有挑战性，即攻击者/评估者无法访问模型的参数和架构，也就是黑盒对抗攻击。由于其实际重要性，近期算法取得了快速进展，表现为攻击成功率迅速提高以及针对目标模型的查询次数迅速减少。然而，缺乏对这些算法的彻底评估和比较，导致难以追踪实际进展、分析不同技术路线的优缺点，以及设计该领域的未来发展路线图。因此，我们旨在构建一个名为 BlackboxBench 的黑盒对抗攻击综合基准测试。它主要提供：1) 一个统一、可扩展且基于模块的代码库，实现了 29 种基于查询的攻击算法和 30 种基于迁移的攻击算法；2) 综合评估：我们在 2 个广泛使用的数据集（CIFAR-10 和 ImageNet 的子集）上，针对几种主流模型架构评估了已实现的算法，总共进行了 14,950 次评估；3) 彻底的分析和新见解，以及分析工具。BlackboxBench 的网站和源代码分别位于 https://blackboxbenchmark.github.io/ 和 https://github.com/SCLBD/BlackboxBench/。
引用
@article{arxiv.2312.16979,
title = {BlackboxBench: A Comprehensive Benchmark of Black-box Adversarial Attacks},
author = {Meixi Zheng and Xuanchen Yan and Zihao Zhu and Hongrui Chen and Baoyuan Wu},
journal= {arXiv preprint arXiv:2312.16979},
year = {2025}
}
备注
44 pages, 38 figures