从代数几何视角看深度线性网络的损失曲面
机器学习
2018-10-19 v1 机器学习
代数几何
摘要
通过运用现代计算代数几何的观点，我们探索了深度线性神经网络模型优化曲面的性质。在厘清“平坦”极小值的各种定义之后，我们表明几何平坦极小值——仅仅是深度线性网络残差连续对称性的产物——可通过广义L_2正则化直接消除。随后，我们借助代数几何建立了这些网络孤立驻点数量的上界。利用这些上界并采用数值代数几何方法，我们找到了适中深度与矩阵尺寸的全体驻点。我们表明在非零正则化存在时，深度线性网络确实拥有非全局极小值的局部极小值。我们的计算结果厘清了深度线性网络损失曲面的某些方面并提供了新颖见解。
引用
@article{arxiv.1810.07716,
title = {The loss surface of deep linear networks viewed through the algebraic geometry lens},
author = {Dhagash Mehta and Tianran Chen and Tingting Tang and Jonathan D. Hauenstein},
journal= {arXiv preprint arXiv:1810.07716},
year = {2018}
}
备注
16 pages (2-columns), 5 figures