利用自适应权重衰减提升鲁棒性
机器学习
2023-12-05 v2 计算机视觉与模式识别
摘要
我们提出自适应权重衰减，在每次训练迭代中自动调整权重衰减的超参数。针对分类问题，我们提出基于分类损失（即交叉熵的梯度）与正则化损失（即权重的 范数）的更新强度，动态改变权重衰减超参数的值。我们表明，这一简单修改可在多个数据集和架构选择下，无需额外数据即可大幅提升对抗鲁棒性——该领域深受鲁棒过拟合之苦。例如，相较于传统权重衰减的最佳调优超参数，我们的重构方法在 CIFAR-100 上实现了 的相对鲁棒性提升，在 CIFAR-10 上实现了 的相对鲁棒性提升，所得模型的性能可与 SOTA 鲁棒性方法相媲美。此外，该方法还具有其他理想特性，例如对学习率较不敏感、权重范数更小，而后者有助于提升对标签噪声过拟合的鲁棒性以及模型剪枝。
引用
@article{arxiv.2210.00094,
title = {Improving Robustness with Adaptive Weight Decay},
author = {Amin Ghiasi and Ali Shafahi and Reza Ardekani},
journal= {arXiv preprint arXiv:2210.00094},
year = {2023}
}