CoRe 优化器：机器学习的一站式解决方案
机器学习
2024-02-20 v2 最优化与控制
计算物理
摘要
在机器学习应用中，优化算法及其超参数会显著影响训练速度及所得模型的精度。理想优化器的愿望清单包括：快速平稳收敛至低误差、低计算需求以及普遍适用性。我们近期提出的持续弹性（CoRe）优化器在训练终身机器学习势时，相比其他最先进的一阶基于梯度的优化器展现出更优性能。本文中，我们对 CoRe 优化器与包括 Adam 优化器和弹性反向传播（RPROP）在内的其他九种优化算法在多种机器学习任务上进行了广泛的性能比较。我们分析了不同超参数的影响并给出了普遍适用的取值。CoRe 优化器在所研究的每个应用中均取得最佳或具竞争力的性能，且仅需根据小批量或批量学习改变一个超参数。
引用
@article{arxiv.2307.15663,
title = {CoRe Optimizer: An All-in-One Solution for Machine Learning},
author = {Marco Eckhoff and Markus Reiher},
journal= {arXiv preprint arXiv:2307.15663},
year = {2024}
}
备注
12 pages, 5 figures, 1 table