BEARD：数据集蒸馏的对抗鲁棒性基准测试
计算机视觉与模式识别
2024-11-15 v1
摘要
数据集蒸馏（DD）是一种新兴技术，可将大规模数据集压缩为显著更小的合成数据集，同时保持高测试性能并支持大型模型的高效训练。然而，当前的研究主要集中在有限压缩比下的评估精度，往往忽略了对抗鲁棒性等关键安全问题。评估这种鲁棒性的一个关键挑战在于蒸馏方法、模型架构和对抗攻击策略之间复杂的相互作用，这使得标准化评估变得复杂。为了解决这个问题，我们引入了 BEARD，这是一个开放且统一的基准测试，旨在系统评估 DD 方法的对抗鲁棒性，包括 DM、IDM 和 BACON。BEARD 在 CIFAR-10/100 和 TinyImageNet 等蒸馏数据集上包含了多种对抗攻击（例如 FGSM、PGD、C&W）。利用对抗博弈框架，它引入了三个关键指标：鲁棒性比率（RR）、攻击效率比率（AE）和综合鲁棒性效率指数（CREI）。我们的分析包括统一基准测试、各种每类图像数（IPC）设置以及对抗训练的效果。结果可在 BEARD 排行榜上获取，同时提供了一个提供模型和数据集池的库以支持可复现研究。代码可在 BEARD 获取。
引用
@article{arxiv.2411.09265,
title = {BEARD: Benchmarking the Adversarial Robustness for Dataset Distillation},
author = {Zheng Zhou and Wenquan Feng and Shuchang Lyu and Guangliang Cheng and Xiaowei Huang and Qi Zhao},
journal= {arXiv preprint arXiv:2411.09265},
year = {2024}
}
备注
15 pages, 6 figures