基于极小化运动格式的残差网络分块训练
机器学习
2023-06-07 v2
摘要
端到端反向传播存在一些缺点：它需要在训练期间加载整个模型，这在受限环境下可能不可行，并且存在三个锁定问题（前向锁定、更新锁定和后向锁定），阻碍了各层的并行训练。求解逐层优化问题可以解决这些问题，并已被用于神经网络的设备端训练。我们受分布空间中梯度流的极小化运动格式启发，开发了一种特别适用于 ResNet 的逐层训练方法。该方法相当于对每个块进行动能正则化，使各块成为最优传输映射并赋予其正则性。它通过缓解逐层训练中观察到的停滞问题来发挥作用，即贪婪训练的早期层过拟合，且更深层在达到一定深度后测试准确率停止提升。我们在分类任务上表明，无论块是顺序训练还是并行训练，使用我们的方法后分块训练的 ResNet 的测试准确率均得到提高。
引用
@article{arxiv.2210.00949,
title = {Block-wise Training of Residual Networks via the Minimizing Movement Scheme},
author = {Skander Karkar and Ibrahim Ayed and Emmanuel de Bézenac and Patrick Gallinari},
journal= {arXiv preprint arXiv:2210.00949},
year = {2023}
}
备注
1st International Workshop on Practical Deep Learning in the Wild at AAAI 2022