稳定 ResNet
机器学习
2021-03-19 v2 机器学习
摘要
深层 ResNet 架构在许多任务上取得了最先进的性能。虽然它们解决了梯度消失问题，但随着深度增大可能会遭受梯度爆炸（Yang et al. 2017）。此外，近期结果表明 ResNet 在深度趋于无穷时可能丧失表达能力（Yang et al. 2017, Hayou et al. 2019）。为解决这些问题，我们引入一类称为稳定 ResNet（Stable ResNet）的新型 ResNet 架构，其具有稳定梯度同时在无限深度极限下保证表达能力的特性。
引用
@article{arxiv.2010.12859,
title = {Stable ResNet},
author = {Soufiane Hayou and Eugenio Clerico and Bobby He and George Deligiannidis and Arnaud Doucet and Judith Rousseau},
journal= {arXiv preprint arXiv:2010.12859},
year = {2021}
}
备注
43 pages, 4 figures