梯度方法可证明收敛于非鲁棒网络
机器学习
2022-10-05 v2
摘要
尽管已有大量研究,神经网络为何如此易受对抗样本攻击仍不清楚。在这项工作中,我们确定了深度为2的ReLU网络在梯度流训练下可证明是非鲁棒的(易受微小对抗性ℓ2扰动),即使在存在能正确分类训练数据集的鲁棒网络时也是如此。或许令人惊讶的是,我们表明众所周知的朝向间隔最大化的隐式偏置会诱导朝向非鲁棒网络的偏置,通过证明满足最大间隔问题KKT条件的每个网络都是非鲁棒的。
引用
@article{arxiv.2202.04347,
title = {Gradient Methods Provably Converge to Non-Robust Networks},
author = {Gal Vardi and Gilad Yehudai and Ohad Shamir},
journal= {arXiv preprint arXiv:2202.04347},
year = {2022}
}
备注
Minor fixes made for the NeurIPS CR version