Arc 梯度下降：基于几何动机的分段感知、用户可控步长动力学的梯度下降优化器（概念验证）
机器学习
2026-03-25 v3 人工智能
计算与语言
计算机视觉与模式识别
神经与进化计算
摘要
本文提出了 ArcGD 优化器的形式化、实现与评估。最初在非凸基准函数上进行评估，随后在真实机器学习数据集上进行测试。最初的比较研究使用 Adam 优化器在高度非凸且著名的难挑战 Rosenbrock 函数上进行测试，该函数在 2D 到 1000D 范围内表现为狭窄的弯曲谷，并在 50,000D 的极端案例中进行测试。评估了两种配置以消除学习率偏见：(i) 两者均使用 ArcGD 的有效学习率；(ii) 两者均使用 Adam 的默认学习率。ArcGD 在第一种设置下始终优于 Adam，而在第二种设置下虽较慢，却在大多数情况下实现了更优的最终解。在第二次评估中，ArcGD 针对 CIFAR-10 图像分类数据集在 8 个 diverse MLP 架构（从 1 到 5 个隐藏层）上进行测试。ArcGD 在 20,000 次迭代时实现了最高的平均测试准确率 (50.7%)，超越 AdamW (46.6%)、Adam (46.8%)、SGD (49.6%) 和 Lion (43.4%)，在 6 个架构中获胜或持平。值得注意的是，虽然 Adam 和 AdamW 在 5,000 次迭代时表现出强烈的早期收敛，但随着训练延续而退化，而 ArcGD 持续改进，显示出泛化能力和对过拟合的抵抗力，无需早期停止调优。强性能表现表明其在几何压力测试和标准深度学习基准上的广泛适用性，凸显了进一步探索的必要性。此外，还展示了 ArcGD 的一个极限变体和一个带动量的 ArcGD 能够恢复基于符号的动量更新，揭示了 ArcGD 阶段结构与 Lion 优化器核心机制之间的清晰概念联系。
引用
@article{arxiv.2512.06737,
title = {Arc Gradient Descent: A Geometrically Motivated Gradient Descent-based Optimiser with Phase-Aware, User-Controlled Step Dynamics (proof-of-concept)},
author = {Nikhil Verma and Joonas Linnosmaa and Leonardo Espinosa-Leal and Napat Vajragupta},
journal= {arXiv preprint arXiv:2512.06737},
year = {2026}
}
备注
90 pages, 6 appendices, proof-of-concept