基于伴随的精确 Hessian 计算
数值分析
2020-07-09 v3 数值分析
摘要
我们考虑一个依赖于初值问题数值解的标量函数，及其关于初值的二阶导数（Hessian）矩阵。在许多研究领域（如优化、贝叶斯估计和不确定性量化）中，需要提取 Hessian 的信息或以 Hessian 为系数矩阵求解线性系统。从内存效率的角度，这些任务常采用 Krylov 子空间方法，该方法无需显式存储 Hessian 矩阵，仅需计算 Hessian 与给定向量的乘积。获得此类 Hessian-向量乘积近似的一种方法是数值积分所谓的二阶伴随系统。然而，即使对二阶伴随系统的数值积分足够精确，该近似中的误差仍可能显著。本文提出一种新颖算法，可精确且高效地计算目标 Hessian-向量乘积。为此，我们给出二阶伴随系统的一个新的简洁推导，并表明通过对二阶伴随系统应用特定的数值方法可精确计算目标乘积。在讨论中，辛分区 Runge–Kutta 方法起着关键作用。
引用
@article{arxiv.1910.06524,
title = {Adjoint-based exact Hessian computation},
author = {Shin-ichi Ito and Takeru Matsuda and Yuto Miyatake},
journal= {arXiv preprint arXiv:1910.06524},
year = {2020}
}