无中生有：探索无数据对抗鲁棒性蒸馏
计算机视觉与模式识别
2023-12-19 v2
摘要
对抗鲁棒性蒸馏（ARD）是一项有前景的任务，用于解决小容量模型对抗鲁棒性有限的问题，同时优化对抗训练（AT）昂贵的计算开销。尽管具有不错的鲁棒性能，现有 ARD 方法仍不切实际，难以部署于自然高安全场景，因为这些方法完全依赖于原始或公开可得的、具有相似分布的数据。事实上，对于需要高鲁棒性的场景，这些数据几乎总是私有、特定且独特的。为应对这些问题，我们提出了一种具挑战性但重要的任务，称为无数据对抗鲁棒性蒸馏（DFARD），其旨在不依赖数据训练小型、易部署的鲁棒模型。我们论证了该挑战在于知识迁移信息上限更低，使得更高效地进行知识挖掘与迁移至关重要。受人类教育启发，我们设计了一种即插即用的交互式温度调节（ITA）策略以提升知识迁移效率，并提出自适应生成器平衡（AGB）模块以保留更多数据信息。我们的方法使用自适应超参数以避免大量参数调优，显著优于现有技术的组合。同时，我们的方法在多个基准上取得了稳定可靠的性能。
引用
@article{arxiv.2303.11611,
title = {Out of Thin Air: Exploring Data-Free Adversarial Robustness Distillation},
author = {Yuzheng Wang and Zhaoyu Chen and Dingkang Yang and Pinxue Guo and Kaixun Jiang and Wenqiang Zhang and Lizhe Qi},
journal= {arXiv preprint arXiv:2303.11611},
year = {2023}
}
备注
Accepted by AAAI24