深度神经网络的热带几何
机器学习
2018-05-21 v1 代数几何
机器学习
摘要
我们首次建立了具有 ReLU 激活的前馈神经网络与热带几何之间的联系——我们证明此类神经网络族等价于热带有理映射族。其中，我们推得具有一个隐藏层的前馈 ReLU 神经网络可由zonotope刻画，其作为更深网络的构建模块；我们将此类神经网络的决策边界与热带超曲面（热带几何的主要研究对象）相关联；并证明此类神经网络的线性区域对应于与热带有理函数相关的多面体的顶点。我们热带公式的一个洞见是，更深的网络比浅层网络在表达能力上呈指数级增强。
引用
@article{arxiv.1805.07091,
title = {Tropical Geometry of Deep Neural Networks},
author = {Liwen Zhang and Gregory Naitzat and Lek-Heng Lim},
journal= {arXiv preprint arXiv:1805.07091},
year = {2018}
}
备注
18 pages, 6 figures