过参数化神经网络 SGD 解的景观连通性与 dropout 稳定性
机器学习
2020-07-24 v2 机器学习
摘要
多层神经网络的优化通常得到训练误差为零的解，但损失景观可能呈现伪局部极小，且极小点可能互不连通。本文阐明此现象：我们表明随机梯度下降 (SGD) 与过参数化的结合使多层神经网络的景观近似连通，从而更有利于优化。更具体地，我们证明 SGD 解通过分段线性路径连通，且随神经元数量增大，该路径上的损失增量趋于消失。此结果源于以下事实：SGD 找到的参数随网络变宽而日益 dropout 稳定。我们表明，若移除部分神经元（并适当缩放剩余神经元），损失的变化与神经元总数无关，仅取决于留下多少神经元。我们的结果对输入维数依赖温和：对两层网络为维数无关，对多层网络随维数线性依赖。我们通过针对不同架构与分类任务的数值实验验证了理论发现。
引用
@article{arxiv.1912.10095,
title = {Landscape Connectivity and Dropout Stability of SGD Solutions for Over-parameterized Neural Networks},
author = {Alexander Shevchenko and Marco Mondelli},
journal= {arXiv preprint arXiv:1912.10095},
year = {2020}
}
备注
Proceedings of the 37th International Conference on Machine Learning (ICML)