BackdoorBench：后门学习的全面基准与分析
摘要
作为探索深度神经网络（DNN）漏洞的新兴方法，后门学习在近年来受到日益关注，许多具有代表性的后门攻击和防御算法不断相继或同步开发。然而，由于现有工作设置多样且实施和可重复性困难，缺乏后门学习的统一标准化基准，导致进行公平比较或得出可靠结论（例如，误导、偏置甚至错误的结论）困难。因此，难以评估当前进展并制定未来发展路线图。为缓解这一困境，我们构建了一个名为 BackdoorBench 的后门学习全面基准。我们的基准对研究社区做出了三项重要贡献：1）我们提供了最新后门学习算法（目前包括 20 个攻击算法和 32 个防御算法）的集成实现，基于可扩展的模块化代码库；2）我们进行了全面评估，包括 5 个投毒比例，基于 4 个模型和 4 个数据集，总计进行了 11,492 对攻击-防御评估；3）基于上述评估，我们从 10 个角度 presenting 丰富的分析，通过 18 个有用分析工具，并提供了关于后门学习的几个启发性见解。我们希望我们的努力能为后门学习奠定坚实的基础，促进研究人员调查现有算法、开发更具创新性的算法以及探索后门学习的内在机制。最后，我们在 http://backdoorbench.com 创建了一个用户友好的网站，收集了 BackdoorBench 的所有重要信息，包括代码库、文档、排行榜和模型 Zoo。
引用
@article{arxiv.2407.19845,
title = {BackdoorBench: A Comprehensive Benchmark and Analysis of Backdoor Learning},
author = {Baoyuan Wu and Hongrui Chen and Mingda Zhang and Zihao Zhu and Shaokui Wei and Danni Yuan and Mingli Zhu and Ruotong Wang and Li Liu and Chao Shen},
journal= {arXiv preprint arXiv:2407.19845},
year = {2024}
}
备注
Substantial extensions based on our previous conference version "Backdoorbench: A comprehensive benchmark of backdoor learning" published at NeurIPS D&B Track 2022. 20 backdoor attack algorithms, 32 backdoor defense algorithms, 11000+ pairs of attack-against-defense evaluations, 10 analyses, 18 analysis tools