用于深度神经网络学习的正交与幂等变换
计算机视觉与模式识别
2017-07-20 v1
摘要
恒等变换在残差网络中用作跳跃连接，直接连接深度神经网络中靠近输入的卷积层与靠近输出的卷积层，改善信息流从而缓解训练难度。在本文中，我们引入两种替代的线性变换：正交变换与幂等变换。根据正交矩阵与幂等矩阵的定义和性质，用于构成线性变换的多个正交（同种幂等）矩阵的乘积等于单个正交（幂等）矩阵，从而改善信息流并缓解训练。一个有趣的点在于，其成功本质上源于前向与反向传播中的特征复用与梯度复用，以在流动过程中维持信息，并因通过跳跃连接的快捷路径而消除梯度消失问题。我们通过实验证明了所提出的两种变换的有效性：与恒等变换相比，在单分支网络中性能相似，而在多分支网络中甚至更优。
引用
@article{arxiv.1707.05974,
title = {Orthogonal and Idempotent Transformations for Learning Deep Neural Networks},
author = {Jingdong Wang and Yajie Xing and Kexin Zhang and Cha Zhang},
journal= {arXiv preprint arXiv:1707.05974},
year = {2017}
}