使用压缩数据集进行对抗训练有效吗？
机器学习
2025-09-15 v3
摘要
数据集凝练 (DC) 是指最近一类数据集压缩方法，它从较大的数据集中生成较小的合成数据集。该合成数据集旨在保留原始数据集的基本信息，使在其上训练的模型能够达到与在完整数据集上训练的模型相当的性能水平。大多数当前的 DC 方法主要关注在有限的数据预算下实现高测试性能，而未直接解决对抗鲁棒性问题。在本文中，我们研究了对抗鲁棒性对使用压缩数据集训练的模型的影响。我们表明，从 DC 方法获得的压缩数据集在将对抗鲁棒性迁移到模型方面效果不佳。作为同时提高数据集压缩效率和对抗鲁棒性的解决方案，我们提出了一种基于寻找数据集最小有限覆盖 (MFC) 的鲁棒感知数据集压缩方法。所提出的方法具有以下特点：(1) 通过最小化广义对抗损失而被证明具有鲁棒性；(2) 当在 MFC 上应用对抗训练时，比 DC 方法更有效；(3) 通过一次性计算获得，并适用于任何模型。
引用
@article{arxiv.2402.05675,
title = {Is Adversarial Training with Compressed Datasets Effective?},
author = {Tong Chen and Raghavendra Selvan},
journal= {arXiv preprint arXiv:2402.05675},
year = {2025}
}
备注
22 pages, 10 figures, 3 tables, accepted at Scandinavian Conference on Image Analysis 2025 (SCIA 2025)