深度线性网络的精确解
机器学习
2023-06-14 v7 机器学习
摘要
本研究找到了带有权重衰减和随机神经元的深度线性网络全局极小值的解析表达式，这是理解神经网络损失景观的基础模型。我们的结果表明，原点是深度神经网络损失景观中涌现高度非线性现象的特殊点。我们证明，权重衰减与模型架构强烈相互作用，并能在具有多于 个隐藏层的网络中于零点处产生不良极小值，这与仅有 个隐藏层的网络在性质上不同。在实践中，我们的结果意味着常见的深度学习初始化方法不足以普遍缓解神经网络的优化问题。
引用
@article{arxiv.2202.04777,
title = {Exact Solutions of a Deep Linear Network},
author = {Liu Ziyin and Botao Li and Xiangming Meng},
journal= {arXiv preprint arXiv:2202.04777},
year = {2023}
}
备注
NeurIPS 2022