权重预测加速 AdamW 的收敛
机器学习
2023-08-09 v2 最优化与控制
摘要
在本文中，我们将权重预测引入 AdamW 优化器，以在训练深度神经网络（DNN）模型时加速其收敛。具体而言，在每个小批量训练之前，我们根据 AdamW 的更新规则预测未来权重，然后将预测的未来权重用于前向传播和反向传播。通过这种方式，AdamW 优化器始终利用相对于未来权重而非当前权重的梯度来更新 DNN 参数，使 AdamW 优化器实现更好的收敛。我们的方案简单直接且易于实现，但在加速 DNN 训练收敛方面有效。我们在图像分类和语言建模任务上进行了广泛的实验评估，以验证我们方案的有效性。实验结果证实，我们的方案能够加速 AdamW 的收敛，并在训练 DNN 模型时取得比 AdamW 更好的精度。
引用
@article{arxiv.2302.00195,
title = {Weight Prediction Boosts the Convergence of AdamW},
author = {Lei Guan},
journal= {arXiv preprint arXiv:2302.00195},
year = {2023}
}