FOSI：一阶与二阶混合优化
机器学习
2024-03-08 v4
摘要
流行的机器学习方法因高维曲率计算困难而放弃二阶信息。我们提出 FOSI，一种新颖的元算法，通过在优化过程中高效融入二阶信息来提升任意基础一阶优化器的性能。在每次迭代中，FOSI 隐式地将函数拆分为定义于正交子空间上的两个二次函数，随后用二阶方法最小化第一个，用基础优化器最小化另一个。我们形式化分析了 FOSI 的收敛性及其改进基础优化器的条件。我们的实证评估表明，FOSI 提升了 Heavy-Ball 与 Adam 等一阶方法的收敛速率与优化时间，并优于二阶方法（K-FAC 与 L-BFGS）。
引用
@article{arxiv.2302.08484,
title = {FOSI: Hybrid First and Second Order Optimization},
author = {Hadar Sivan and Moshe Gabel and Assaf Schuster},
journal= {arXiv preprint arXiv:2302.08484},
year = {2024}
}
备注
23 pages, 9 figures. Accepted as a conference paper to ICLR 2024