真相还是反向传播宣传？深度学习理论的实证考察
机器学习
2020-04-29 v3 最优化与控制
机器学习
摘要
我们对从业者与理论研究者普遍持有的关于神经网络的常见假设进行了实证评估。在这项工作中，我们：（1）证明了神经网络损失景观中次优局部极小值的广泛存在，并利用我们的理论找到了实例；（2）表明小范数参数并非泛化最优；（3）论证了 ResNet 不符合宽网络理论（如神经正切核），且跳跃连接与批归一化之间的相互作用发挥了作用；（4）发现在实际设定中秩与泛化或鲁棒性无关。
引用
@article{arxiv.1910.00359,
title = {Truth or Backpropaganda? An Empirical Investigation of Deep Learning Theory},
author = {Micah Goldblum and Jonas Geiping and Avi Schwarzschild and Michael Moeller and Tom Goldstein},
journal= {arXiv preprint arXiv:1910.00359},
year = {2020}
}
备注
18 pages, 6 figures. First two authors contributed equally. Published as a conference paper at ICLR 2020