深度学习中具有广义多分段 ReLU 激活的深度全局连接网络
计算机视觉与模式识别
2018-07-10 v1 机器学习
摘要
近期进展表明,在卷积神经网络中利用隐藏层神经元并结合精心设计的激活函数,可在计算机视觉领域获得更好的分类结果。本文首先提出一种新颖的深度学习架构,旨在缓解梯度消失问题,其中较早的隐藏层神经元可直接与最后隐藏层连接并输入到最后一层进行分类。随后我们设计了一个广义线性整流函数作为激活函数,可通过参数训练逼近任意复杂函数。我们将展示,在参数数量显著更少、网络结构更浅的情况下,我们的设计在多个目标识别和视频动作基准任务上可达到相近性能,这不仅在训练的计算负担和内存使用方面具有前景,也适用于低计算、低内存的移动场景。
引用
@article{arxiv.1807.03116,
title = {Deep Global-Connected Net With The Generalized Multi-Piecewise ReLU Activation in Deep Learning},
author = {Zhi Chen and Pin-han Ho},
journal= {arXiv preprint arXiv:1807.03116},
year = {2018}
}
备注
9 pages, 3 figures and 5 tables