循环神经网络的表达能力
机器学习
2018-02-09 v2
摘要
深度神经网络在解决实际任务时出奇地高效，但这一现象背后的理论才刚刚开始赶上实践。大量工作表明深度是这种效率的关键。某类深度卷积网络——即对应于 Hierarchical Tucker（HT）张量分解的那些——已被证明比浅层网络具有指数级更高的表达能力。即需要指数宽度的浅层网络才能实现与深度架构相同的评分函数。在本文中，我们证明了一类循环神经网络的表达能力定理（等价浅层网络宽度的指数下界）——这类网络对应于 Tensor Train（TT）分解。这意味着即使以补丁方式用 RNN 逐块处理图像，也可能比具有一个隐藏层的（浅层）卷积网络指数级更高效。利用关于张量分解间关系的理论结果，我们比较了 HT 网络与 TT 网络的表达能力。我们还实现了循环 TT 网络，并提供了其表达性的数值证据。
引用
@article{arxiv.1711.00811,
title = {Expressive power of recurrent neural networks},
author = {Valentin Khrulkov and Alexander Novikov and Ivan Oseledets},
journal= {arXiv preprint arXiv:1711.00811},
year = {2018}
}
备注
Accepted as a conference paper at ICLR 2018