避免极深网络中的病理现象
机器学习
2016-07-12 v3 机器学习
摘要
为深度网络选择合适的架构和正则化策略对于良好的预测性能至关重要。为了阐明这一问题，我们分析了在函数组合上构建有用先验的类似问题。具体而言，我们研究了深度高斯过程，这是一种无限宽的深度神经网络。我们表明，在标准架构中，随着层数的增加，网络的表示能力倾向于捕获更少的自由度，最终在极限情况下仅保留一个自由度。我们提出了一种替代网络架构，该架构不会遭受这种病理现象。我们还研究了通过组合无限多特征变换得到的深度协方差函数。最后，我们描述了在高斯过程上执行dropout所获得的模型类别。
引用
@article{arxiv.1402.5836,
title = {Avoiding pathologies in very deep networks},
author = {David Duvenaud and Oren Rippel and Ryan P. Adams and Zoubin Ghahramani},
journal= {arXiv preprint arXiv:1402.5836},
year = {2016}
}
备注
Fixed a typo regarding number of layers