前馈神经网络外积流形的表达能力
机器学习
2018-07-19 v1 机器学习
摘要
分层神经网络在具有相同表达能力时比其对应的“浅层”网络指数级更高效，但涉及海量参数且需要冗长的训练。我们的主要思想是通过重参数化不变的黎曼度量从数学上理解和描述前馈神经网络的分层结构。通过计算或近似切子空间，我们通过稀疏表示更好地利用原始网络，从而能够在极早的训练阶段后切换到浅层网络。我们的实验表明，所提出的度量近似改善了原始网络可达到的性能，有时甚至在原始前馈网络训练几个周期后就显著超越其性能。
引用
@article{arxiv.1807.06630,
title = {Expressive power of outer product manifolds on feed-forward neural networks},
author = {Bálint Daróczy and Rita Aleksziev and András Benczúr},
journal= {arXiv preprint arXiv:1807.06630},
year = {2018}
}
备注
11 pages, 8 figures, under submission