分析神经网络损失景观中的单调线性插值
机器学习
2021-04-26 v2 人工智能
机器学习
摘要
以随机梯度下降（SGD）训练后，神经网络初始参数与收敛参数之间的线性插值通常导致训练目标的单调下降。这一单调线性插值（MLI）性质由 Goodfellow 等人（2014）首次观测到，尽管神经网络具有非凸目标与高度非线性的训练动态，该性质依然持续。扩展此项工作，我们评估了关于该性质的若干假设，据我们所知这些假设尚未被探索。利用微分几何工具，我们建立了函数空间中插值路径与网络单调性之间的联系——为均方误差下的 MLI 性质提供了充分条件。尽管 MLI 性质在各种设置（如网络架构与学习问题）下成立，我们在实践中表明，可通过促使权重远离初始化而系统性地产生违背 MLI 性质的网络。MLI 性质提出了关于神经网络损失景观几何的重要问题，并凸显了进一步研究其全局性质的必要性。
引用
@article{arxiv.2104.11044,
title = {Analyzing Monotonic Linear Interpolation in Neural Network Loss Landscapes},
author = {James Lucas and Juhan Bae and Michael R. Zhang and Stanislav Fort and Richard Zemel and Roger Grosse},
journal= {arXiv preprint arXiv:2104.11044},
year = {2021}
}
备注
15 pages in main paper, 4 pages of references, 24 pages in appendix. 29 figures in total