残差连接促进迭代推理
计算机视觉与模式识别
2018-03-09 v2
摘要
残差网络（Resnets）已成为深度学习中的一种重要架构。然而，对Resnets的全面理解仍是持续研究的课题。近期一种观点主张Resnets执行特征的迭代细化。我们试图进一步揭示这方面的性质。为此，我们从分析与经验两个角度研究Resnets。我们通过表明残差连接自然地促使残差块的特征在从一个块进入下一个块时沿着损失的负梯度移动，从而形式化了Resnets中迭代细化的概念。此外，我们的实证分析表明，Resnets能够同时执行表示学习与迭代细化。一般而言，Resnet块倾向于将表示学习行为集中在前几层，而较高层执行特征的迭代细化。最后我们观察到，朴素地共享残差层会导致表示爆炸并反直觉地导致过拟合，并且我们展示了简单的现有策略可帮助缓解此问题。
引用
@article{arxiv.1710.04773,
title = {Residual Connections Encourage Iterative Inference},
author = {Stanisław Jastrzębski and Devansh Arpit and Nicolas Ballas and Vikas Verma and Tong Che and Yoshua Bengio},
journal= {arXiv preprint arXiv:1710.04773},
year = {2018}
}
备注
First two authors contributed equally. Published in ICLR 2018