不同学习机制下双层神经网络的（非）鲁棒性
机器学习
2022-07-05 v2 机器学习
摘要
众所周知，神经网络对对抗样本高度敏感。这些样本可能由不同因素引起，例如随机初始化，或学习问题中的伪相关。为更好地理解这些因素，我们精确研究了不同场景下的对抗鲁棒性，从初始化到不同机制下训练结束，以及中间场景（由于“懒惰”训练，初始化仍起作用）。我们考虑高维中带有二次目标与无限样本的过参数化网络。我们的分析使我们能够识别近似（通过测试误差度量）与鲁棒性之间的新权衡，即鲁棒性仅在测试误差改善时变差，反之亦然。我们还展示了线性化懒惰训练机制如何因不适当缩放的随机初始化而恶化鲁棒性。我们的理论结果通过数值实验加以说明。
引用
@article{arxiv.2203.11864,
title = {On the (Non-)Robustness of Two-Layer Neural Networks in Different Learning Regimes},
author = {Elvis Dohmatob and Alberto Bietti},
journal= {arXiv preprint arXiv:2203.11864},
year = {2022}
}