BackdoorBench：后门学习的综合基准测试与分析
广义相对论与量子宇宙学
2024-09-11 v3 高能天体物理现象
摘要
作为研究深度神经网络脆弱性的一个新兴且至关重要的课题，后门学习近年来吸引了越来越多的兴趣，许多开创性的后门攻击与防御算法正在相继或同时被开发，处于一场快速的军备竞赛状态。然而，主要由于现有工作设置多样、实现和复现困难，后门学习缺乏统一且标准化的基准测试，导致不公平的比较和不可靠的结论（例如，误导性、有偏甚至错误的结论）。因此，很难评估该领域的当前进展并设计未来的发展路线图。为缓解这一困境，我们构建了一个全面的后门学习基准测试，名为 BackdoorBench。我们的基准测试为研究社区做出了三项有价值的贡献。1) 我们基于一个可扩展的模块化代码库，提供了最先进后门学习算法（目前包括 16 种攻击和 27 种防御算法）的集成实现。2) 我们基于 4 个模型和 4 个数据集，使用 5 种投毒比率，对 12 种攻击和 16 种防御进行了全面评估，总计 11,492 对评估。3) 基于上述评估，我们通过 18 个有用的分析工具，从 8 个角度呈现了丰富的分析，并提供了关于后门学习的若干启发性见解。我们希望我们的努力能为后门学习奠定坚实的基础，以促进研究者研究现有算法、开发更具创新性的算法，并探索后门学习的内在机制。最后，我们创建了一个用户友好的网站 http://backdoorbench.com，该网站收集了 BackdoorBench 的所有重要信息，包括代码库、文档、排行榜和模型库。
引用
@article{arxiv.2401.15003,
title = {Superradiant clouds may be relevant for close compact object binaries},
author = {Ao Guo and Jun Zhang and Huan Yang},
journal= {arXiv preprint arXiv:2401.15003},
year = {2024}
}