论训练深度神经网络中一致性的重要性
机器学习
2017-08-03 v1 人工智能
计算机视觉与模式识别
神经与进化计算
摘要
我们阐述了训练深度神经网络的困难源于三种一致性问题的综合症。本文描述了我们在分析和处理这些问题上的努力。第一个问题是不同层中训练速度的不一致性。我们提出用一种直观、易于实现、低占用空间的二阶方法来解决它。第二个问题是层输入与层残差之间的尺度不一致性。我们解释了二阶信息如何在消除这一障碍方面提供有利的便利。第三个也是最具挑战性的问题是残差传播中的不一致性。基于线性代数的基本定理，我们为著名的梯度消失问题提供了一个数学刻画。由此，推导出未来优化和神经网络设计的一个重要设计原则。我们以构建一种新颖的收缩神经网络来结束本文。
引用
@article{arxiv.1708.00631,
title = {On the Importance of Consistency in Training Deep Neural Networks},
author = {Chengxi Ye and Yezhou Yang and Cornelia Fermuller and Yiannis Aloimonos},
journal= {arXiv preprint arXiv:1708.00631},
year = {2017}
}