FERD：公平性增强的数据无关鲁棒蒸馏
机器学习
2025-09-29 v2 计算机视觉与模式识别
摘要
数据无关鲁棒蒸馏（DFRD）旨在在不访问训练数据的情况下，将教师的鲁棒性传递给学生。虽然现有方法关注整体鲁棒性，但忽略了鲁棒公平性问题，导致学生模型在不同类别间表现差异显著。本文发现两个关键问题：（1）使用相同类别比例数据 distillation 的学生模型在不同类别间行为差异显著；（2）学生模型的鲁棒性在不同攻击目标下不稳定。为弥合这些差距，我们提出首个公平性增强的数据无关鲁棒蒸馏（FERD）框架，通过调整对抗样本的比例和分布来实现。对于比例，FERD 采用鲁棒性导向的类别重加权策略，为鲁棒性较差的类别综合更多样本，从而提升其鲁棒性。对于分布，FERD 生成用于高级鲁棒蒸馏的互补数据样本。通过在特征级预测上强制均匀性约束，生成公平感知样本（FAEs），抑制类别特定非鲁棒特征的主导作用，提供跨所有类别更均衡的表示。然后，FERD 通过应用统一目标类别约束生成 Uniform-Target 对抗样本（UTAEs），以避免偏向特定脆弱类别的攻击方向，分布所有类别的攻击目标，防止对特定脆弱类别的过拟合。在三个公开数据集上的大量实验表明，FERD 在所有对抗攻击下实现了最差类别鲁棒性的SOTA，例如在 CIFAR-10 上使用 MobileNet-V2，FGSM 和 AutoAttack 下的最差类别鲁棒性分别提高了 15.1% 和 6.4%，在鲁棒性和公平性方面表现出优异性能。
引用
@article{arxiv.2509.20793,
title = {FERD: Fairness-Enhanced Data-Free Robustness Distillation},
author = {Zhengxiao Li and Liming Lu and Xu Zheng and Siyuan Liang and Zhenghan Chen and Yongbin Zhou and Shuchao Pang},
journal= {arXiv preprint arXiv:2509.20793},
year = {2025}
}