从代数几何视角看多层线性神经网络的景观
代数几何
2021-02-09 v1 机器学习
摘要
对神经网络非凸景观的清晰理解是一个复杂的未完全解决的问题。本文研究线性(残差)网络的景观,它是非线性网络的简化版本。通过将梯度方程视为多项式方程,我们利用代数几何工具在复数域上求解,所得解可分解为不同的不可约复几何对象。随后提出三个假设,涉及如何计算每个不可约复几何对象上的损失、临界点的损失具有某一确定范围,以及每个不可约复几何对象的维数与严格鞍条件之间的关系。最后,应用数值代数几何验证这三个假设的合理性,从而进一步阐明线性网络的景观及残差连接的作用。
引用
@article{arxiv.2102.04338,
title = {The Landscape of Multi-Layer Linear Neural Network From the Perspective of Algebraic Geometry},
author = {Xiuyi Yang},
journal= {arXiv preprint arXiv:2102.04338},
year = {2021}
}