基于二阶前向模式自动微分的优化
机器学习
2024-08-21 v1 机器学习
摘要
本文引入了二阶超平面搜索（second-order hyperplane search），这是一种新颖的优化步骤，概括了从一条线到一个 维超平面的二阶线搜索。这一方法结合了前向模式随机梯度法，构成了一个只包含前向传递的二阶优化算法，完全避免了反向传播的存储开销。与最近依赖方向导数（或雅可比-向量积, Jacobian--Vector Products, JVPs）的工作不同，我们使用双重数（hyper-dual numbers）来同时评估方向导数及其二阶二次项。因此，我们引入了具有Hessian信息的前向模式权重扰动（forward-mode weight perturbation with Hessian information, FoMoH）。随后我们利用FoMoH开发了一种对线搜索的新颖泛化，通过将其扩展到超平面搜索来实现。我们展示了这种扩展的实用性，以及它如何可能用于克服一些在没有反向传播的情况下优化机器学习模型的挑战。我们的代码已开源于 https://github.com/SRI-CSL/fomoh。
引用
@article{arxiv.2408.10419,
title = {Second-Order Forward-Mode Automatic Differentiation for Optimization},
author = {Adam D. Cobb and Atılım Güneş Baydin and Barak A. Pearlmutter and Susmit Jha},
journal= {arXiv preprint arXiv:2408.10419},
year = {2024}
}
备注
14 pages, 8 figures