深度残差网络的全局收敛多层训练
机器学习
2022-06-14 v2 数值分析
数值分析
最优化与控制
摘要
我们提出了一种用于深度残差网络（ResNets）的全局收敛多层训练方法。所设计的方法可视为递归多层信赖域（RMTR）方法的新变体，它在混合（随机-确定性）设定下通过在训练期间自适应调整小批量大小来运作。多层层次结构和转移算子通过利用动力系统视角构建，该视角将 ResNet 的前向传播解释为初值问题的前向欧拉离散化。与传统训练方法相反，我们新颖的 RMTR 方法还通过有限内存 SR1 方法在所有多层层次上纳入曲率信息。我们使用分类和回归领域的示例数值研究了我们多层训练方法的整体性能和收敛性质。
引用
@article{arxiv.2107.07572,
title = {Globally Convergent Multilevel Training of Deep Residual Networks},
author = {Alena Kopaničáková and Rolf Krause},
journal= {arXiv preprint arXiv:2107.07572},
year = {2022}
}