力矩感知动量优化器
机器学习
2024-12-30 v1 人工智能
摘要
高效探索复杂损失景观是深度神经网络性能的关键。尽管动量式优化器在最前沿的实践中广泛使用，但经典动量在面对大幅度偏移梯度时仍可能出现振荡。为此，本文提出一种Torque-Aware Momentum（TAM）优化器，通过梯度与先前动量之间夹角的阻尼因子来稳定训练过程中的更新方向。实验结果表明，TAM可与SGD和Adam等多种优化器结合，显著提升探索能力，更有效地处理分布迁移，同时在包括图像分类和大规模语言模型微调等多种任务上，优于经典动量式优化器。
引用
@article{arxiv.2412.18790,
title = {Torque-Aware Momentum},
author = {Pranshu Malviya and Goncalo Mordido and Aristide Baratin and Reza Babanezhad Harikandeh and Gintare Karolina Dziugaite and Razvan Pascanu and Sarath Chandar},
journal= {arXiv preprint arXiv:2412.18790},
year = {2024}
}