对抗鲁棒泛化中隐式偏差的代价
机器学习
2024-06-10 v1 机器学习
摘要
我们研究了鲁棒经验风险最小化（鲁棒ERM）中优化的隐式偏差及其与鲁棒泛化的联系。在线性模型对抗扰动的分类设置中，我们研究了对于给定的扰动集，理想情况下应应用何种正则化来改善（鲁棒）泛化。然后我们表明，鲁棒ERM中优化的隐式偏差可以显著影响模型的鲁棒性，并识别了两种可能的方式：通过优化算法或通过架构。我们在合成数据的模拟中验证了我们的预测，并通过深度神经网络实验研究了隐式偏差在鲁棒ERM中的重要性。
引用
@article{arxiv.2406.04981,
title = {The Price of Implicit Bias in Adversarially Robust Generalization},
author = {Nikolaos Tsilivis and Natalie Frank and Nathan Srebro and Julia Kempe},
journal= {arXiv preprint arXiv:2406.04981},
year = {2024}
}