FUSE：随机优化中一阶与二阶统一合成方法
计算机视觉与模式识别
2025-03-07 v1 机器学习
摘要
随机优化方法在现代机器学习算法中积极发挥着关键作用，以提供良好的性能。虽然许多工作提出了多样化的方法，但一阶方法和二阶方法处于完全不同的情况。前者在新兴深度学习中至关重要且占主导地位，但仅能收敛到驻点。然而，二阶方法由于在高维问题中的计算强度而不太流行。本文提出了一种新颖的方法，在统一的算法框架中同时利用一阶和二阶方法，称为FUSE，并由此推导出一个实用版本（PV）。FUSE-PV是一种简单而高效的优化方法，涉及一阶和二阶之间的切换。此外，我们开发了不同的切换判定准则。FUSE-PV已被证明具有比SGD和Adam更小的计算复杂度。为验证所提出的方案，我们在几个简单测试函数上进行了消融研究，并展示了与基准方法在基准数据集上的对比。
引用
@article{arxiv.2503.04204,
title = {FUSE: First-Order and Second-Order Unified SynthEsis in Stochastic Optimization},
author = {Zhanhong Jiang and Md Zahid Hasan and Aditya Balu and Joshua R. Waite and Genyi Huang and Soumik Sarkar},
journal= {arXiv preprint arXiv:2503.04204},
year = {2025}
}
备注
6 pages, 7 figures