隐式偏置的双刃剑：ReLU 网络中的泛化与鲁棒性
机器学习
2023-11-01 v2 机器学习
摘要
在本工作中，我们研究梯度流的隐式偏置对 ReLU 网络泛化与对抗鲁棒性的影响。我们聚焦于数据由簇组成且簇均值间相关性较小的设定，并表明在两层 ReLU 网络中，梯度流偏向于泛化良好但极易受对抗样本攻击的解。即便在网络参数远多于训练样本的情况下，我们的结果仍成立。尽管在这种过参数化设定中存在有害过拟合的可能，我们证明梯度流的隐式偏置阻止了它。然而，隐式偏置也导致非鲁棒解（易受微小对抗性 -扰动影响），即便存在拟合数据的鲁棒网络。
引用
@article{arxiv.2303.01456,
title = {The Double-Edged Sword of Implicit Bias: Generalization vs. Robustness in ReLU Networks},
author = {Spencer Frei and Gal Vardi and Peter L. Bartlett and Nathan Srebro},
journal= {arXiv preprint arXiv:2303.01456},
year = {2023}
}
备注
42 pages; NeurIPS 2023 camera ready