深度神经网络的深度：一个理论视角
机器学习
2015-12-01 v2
摘要
人们认为深度在深度神经网络（DNN）的成功中起着重要作用。然而，据我们所知，这一信念缺乏坚实的理论依据。我们从间隔界的角度调查深度的作用。在间隔界中，期望误差以经验间隔误差加上基于拉德马赫平均（RA）的容量项为上界。首先，我们推导了 DNN 的 RA 上界，并表明它随深度增加而增加。这表明深度对测试性能有负面影响。其次，我们展示在多类设定下，较深的网络往往比较浅的网络具有更大的表示能力（由基于贝蒂数的复杂度衡量），从而可以导致更小的经验间隔误差。这意味着深度的正面影响。这两个结果的结合表明，对于隐藏单元数量受限的 DNN，增加深度并不总是一件好事，因为正负影响之间存在权衡。这些结果启发我们寻找实现深度正面影响的替代方法，例如，对交叉熵损失施加基于间隔的惩罚项，从而在不增加深度的情况下减少经验间隔误差。我们的实验表明，通过这种方式，我们实现了显著更好的测试性能。
引用
@article{arxiv.1506.05232,
title = {On the Depth of Deep Neural Networks: A Theoretical View},
author = {Shizhao Sun and Wei Chen and Liwei Wang and Xiaoguang Liu and Tie-Yan Liu},
journal= {arXiv preprint arXiv:1506.05232},
year = {2015}
}
备注
AAAI 2016