深度 ReLU 网络保持期望长度
机器学习
2021-06-24 v2 机器学习
摘要
评估神经网络所计算函数的复杂性有助于我们理解网络如何学习与泛化。复杂性的一个自然度量是网络对长度的扭曲程度——若网络以单位长度的曲线作为输入,其输出曲线的长度为多少?人们广泛认为该长度随网络深度呈指数增长。我们证明事实并非如此:对于采用标准随机初始化的 ReLU 网络,期望长度扭曲不随深度增长,实际上还略有收缩。我们还将该结果推广,证明了长度扭曲的高阶矩以及高维体积扭曲的上界。这些理论结果得到了我们实验的证实。
引用
@article{arxiv.2102.10492,
title = {Deep ReLU Networks Preserve Expected Length},
author = {Boris Hanin and Ryan Jeong and David Rolnick},
journal= {arXiv preprint arXiv:2102.10492},
year = {2021}
}
备注
18 pages, 4 figures