深度神经网络分类器的训练后过拟合缓解
机器学习
2023-10-02 v1
摘要
深度神经网络（DNN）分类器中已知的（非恶意的）过拟合来源包括：i）大类不平衡；ii）训练集多样性不足；iii）过度训练。在近期工作中表明，后门数据投毒也会引发过拟合，其对攻击者目标类具有异常大的分类间隔，尤其由（无界的）ReLU 激活介导，使大信号可在 DNN 中传播。因此，提出了一种有效的训练后（不知晓训练集或训练过程）缓解后门的方法，利用小型干净数据集，基于有界神经激活。在該工作基础上，我们对激活进行阈值化以 specifically 限制最大间隔（MMs），从而在缓解后门方面取得性能提升。我们也为此缓解方法提供了一些分析支撑。最重要的是，我们展示了基于 MM 的训练后正则化可大幅缓解由类不平衡与过度训练引起的非恶意过拟合。因此，不同于对抗训练虽提供一定攻击鲁棒性却损害干净（无攻击）泛化能力，我们展示了一种源自对抗学习、却有助于干净泛化精度的方法。在 CIFAR-10 与 CIFAR-100 上与同类方法的对比实验，证明了我们方法的强劲性能。
引用
@article{arxiv.2309.16827,
title = {Post-Training Overfitting Mitigation in DNN Classifiers},
author = {Hang Wang and David J. Miller and George Kesidis},
journal= {arXiv preprint arXiv:2309.16827},
year = {2023}
}