具有跳跃连接的网络架构中带动量的反向传播收敛性
计算机视觉与模式识别
2020-01-22 v4 机器学习
摘要
我们研究一类形成有向无环图（DAG）的深度神经网络。对于由带动量的自适应梯度下降定义的反向传播，我们证明了权重对于一大类非线性激活函数是收敛的。该证明推广了 Wu 等人（2008）的结果，他们证明了具有一个隐藏层的前馈网络的收敛性。作为 DAG 架构有效性的一个例子，我们描述了一个通过自编码器进行压缩的实例，并在若干指标下与顺序前馈网络进行了比较。
引用
@article{arxiv.1705.07404,
title = {Convergence of backpropagation with momentum for network architectures with skip connections},
author = {Chirag Agarwal and Joe Klobusicky and Dan Schonfeld},
journal= {arXiv preprint arXiv:1705.07404},
year = {2020}
}