基于Hessian采样的拟牛顿优化
最优化与控制
2022-01-10 v1
摘要
本文探讨了如何有效地将使用SIMD并行前向模式算法微分(AD)生成的曲率信息纳入光滑目标函数的无约束拟牛顿(QN)最小化中。具体而言,每当计算梯度时,可利用前向模式AD生成块Hessian样本。块QN算法随后用这些Hessian样本更新近似逆Hessian,。基于标准线搜索的BFGS算法会仔细过滤并修正基于割线的近似曲率信息以维持正定近似,而我们的算法直接纳入Hessian样本以更新不定逆Hessian近似,无需过滤。所采样的方向补充了标准QN二维信赖域子问题,生成一个中等维数的子问题,可利用负曲率。所得的二次约束二次规划通过广义特征值算法精确求解,并使用标准信赖域步长接受与半径调整推进步长。本文旨在避免串行瓶颈、利用准确的正与负曲率信息,并对的选择策略进行初步评估。
引用
@article{arxiv.2201.02608,
title = {QN Optimization with Hessian Sample},
author = {Joy Azzam and Daniel Henderson and Benjamin Ong and Allan Struthers},
journal= {arXiv preprint arXiv:2201.02608},
year = {2022}
}