论深度神经网络的表达能力
机器学习
2017-06-20 v6 人工智能
机器学习
摘要
我们提出了一种解决神经网络表达能力问题的新方法，该方法旨在表征神经网络族的结构特性如何影响其能够计算的函数。我们的方法基于一组相互关联的表达能力度量，这些度量通过轨迹长度（trajectory length）这一新概念统一起来，该概念衡量当输入沿一维路径扫描时网络输出的变化情况。我们的发现可总结如下：（1）所计算函数的复杂性随深度呈指数增长。（2）所有权重并非同等重要：训练后的网络对其较低（初始）层权重更为敏感。（3）基于轨迹长度的正则化（轨迹正则化）是批归一化（batch normalization）的一种更简单的替代方案，且具有相同的性能。
引用
@article{arxiv.1606.05336,
title = {On the Expressive Power of Deep Neural Networks},
author = {Maithra Raghu and Ben Poole and Jon Kleinberg and Surya Ganguli and Jascha Sohl-Dickstein},
journal= {arXiv preprint arXiv:1606.05336},
year = {2017}
}
备注
Accepted to ICML 2017