修改反向传播梯度可改善收敛性
机器学习
2022-09-21 v3 人工智能
摘要
在标准的神经网络训练中，反向传播中的梯度由前向传播决定。因此，这两个阶段是耦合的。这是目前大多数神经网络的训练方式。然而，文献中很少研究反向传播中的梯度修改。在本文中，我们探索了解耦训练，即我们在反向传播中改变梯度。我们提出了一种简单而有效的方法，称为PowerGrad变换，它在反向传播中权重更新之前改变梯度，并显著增强了神经网络的预测性能。PowerGrad变换训练网络使其在收敛时达到更好的最优解。它在计算上极其高效，几乎不增加任何内存或计算成本，但能提高训练集和测试集的最终准确率。PowerGrad变换易于集成到现有的训练流程中，只需几行代码。PowerGrad变换加速了训练，并使网络能够更好地拟合训练数据。通过解耦训练，PowerGrad变换在ImageNet分类任务上将ResNet-50的基线准确率提高了0.73%，将SE-ResNet-50的基线准确率提高了0.66%，将非归一化ResNet-18网络的基线准确率提高了超过1.0%。
引用
@article{arxiv.2111.12495,
title = {Altering Backward Pass Gradients improves Convergence},
author = {Bishshoy Das and Milton Mondal and Brejesh Lall and Shiv Dutt Joshi and Sumantra Dutta Roy},
journal= {arXiv preprint arXiv:2111.12495},
year = {2022}
}