通过匹配对抗轨迹实现鲁棒数据蒸馏
计算机视觉与模式识别
2025-03-18 v1
摘要
数据蒸馏通过合成紧凑数据集来实现模型性能，使其在训练于原始大规模数据集时与之相当。然而，现有蒸馏方法忽略了模型的鲁棒性，导致在蒸馏数据上训练的模型对对抗攻击极其脆弱。为解决这一局限性，本文提出“鲁棒数据蒸馏”任务，作为一种新范式，将对抗鲁棒性嵌入数据蒸馏过程中合成的数据集中。我们提出了匹配对抗轨迹（Matching Adversarial Trajectories, MAT）方法，将对抗训练集成到基于轨迹的数据蒸馏方法中。MAT在生成轨迹时引入对抗样本，以获得稳健的训练轨迹，然后用于指导蒸馏过程。实验结果表明，即使在我们的蒸馏数据集上进行常规训练，模型也能在保持与现有蒸馏方法相当的准确率的同时，获得增强的对抗鲁棒性。我们的工作表明，鲁棒数据蒸馏是一个新的重要研究方向，并为未来研究提供了强大的基线，以弥合高效训练与对抗鲁棒性之间的差距。
引用
@article{arxiv.2503.12069,
title = {Robust Dataset Distillation by Matching Adversarial Trajectories},
author = {Wei Lai and Tianyu Ding and ren dongdong and Lei Wang and Jing Huo and Yang Gao and Wenbin Li},
journal= {arXiv preprint arXiv:2503.12069},
year = {2025}
}