Gravity 优化器:深度学习优化的一种运动学方法
机器学习
2021-01-25 v1 人工智能
最优化与控制
摘要
我们介绍了 Gravity,另一种基于梯度的优化算法。在本文中,我们解释了我们的新想法如何改变参数以降低深度学习模型的损失。它有三个直观的超参数,并给出了它们的最佳取值建议。此外,我们提出了移动平均的一种替代方案。为了比较 Gravity 优化器与两种常见优化器 Adam 和 RMSProp 的性能,我们在两个 VGGNet 模型上以 128 的批量大小训练了五个标准数据集共 100 个 epoch。Gravity 的超参数无需针对不同模型进行调优。正如文中将更详细解释的,为研究优化器本身对损失降低的直接影响,未使用任何过拟合预防技术。所得结果表明,Gravity 优化器比 Adam 和 RMSProp 具有更稳定的性能,并对具有更多输出类别的数据集(如 CIFAR-100 (Fine))给出更高的验证准确率。
引用
@article{arxiv.2101.09192,
title = {Gravity Optimizer: a Kinematic Approach on Optimization in Deep Learning},
author = {Dariush Bahrami and Sadegh Pouriyan Zadeh},
journal= {arXiv preprint arXiv:2101.09192},
year = {2021}
}