神经网络能两次学到同一模型吗？从决策边界视角考察可复现性与双下降
机器学习
2022-03-16 v1 计算机视觉与模式识别
摘要
我们讨论了可视化神经网络决策边界与决策区域的方法。我们利用这些可视化来研究神经网络训练中与可复现性和泛化相关的问题。我们观察到模型架构（及其关联的归纳偏置）的改变会引起决策边界的可见变化，而使用相同架构的多次运行产生的结果具有高度相似性，尤其在宽架构的情况下。我们还使用决策边界方法来可视化双下降现象。我们看到决策边界的可复现性强烈依赖于模型宽度。在插值阈值附近，神经网络决策边界破碎为许多小的决策区域，且这些区域不可复现。与此同时，非常窄和非常宽的网络在其决策边界上具有高水平的复现性，且决策区域相对较少。我们讨论了我们的观察如何与凸模型中双下降现象的理论相关联。代码见 https://github.com/somepago/dbViz
引用
@article{arxiv.2203.08124,
title = {Can Neural Nets Learn the Same Model Twice? Investigating Reproducibility and Double Descent from the Decision Boundary Perspective},
author = {Gowthami Somepalli and Liam Fowl and Arpit Bansal and Ping Yeh-Chiang and Yehuda Dar and Richard Baraniuk and Micah Goldblum and Tom Goldstein},
journal= {arXiv preprint arXiv:2203.08124},
year = {2022}
}
备注
To appear in CVPR 2022