关于深度神经网络梯度的变化
机器学习
2018-12-11 v1 机器学习
统计理论
统计理论
摘要
我们从理论上解释了深度神经网络中各层节点数的作用。我们证明：具有ReLU激活函数的深度神经网络的最大变化出现在节点数最少的层改变其激活模式时。一个重要推论是，深度神经网络是一种有用的工具，可生成这样一类函数——其大部分变化集中于输入空间中对应于节点数最少层的边界附近的较小区域。反过来，该性质使函数对输入变换更具不变性。也就是说，我们的理论结果为如何设计深度神经网络架构以同时增加复杂度和变换不变性提供了线索。
引用
@article{arxiv.1812.00308,
title = {On variation of gradients of deep neural networks},
author = {Yongdai Kim and Dongha Kim},
journal= {arXiv preprint arXiv:1812.00308},
year = {2018}
}
备注
30 pages, 6 tables, 2 figures