基于矩阵恢复的零阶低秩 Hessian 估计
最优化与控制
2024-02-09 v1
摘要
零阶 Hessian 估计器旨在使用最小的有限差分计算在给定点恢复目标函数的 Hessian 矩阵。本文从矩阵恢复的角度研究零阶 Hessian 估计，针对低秩 Hessian。我们的挑战在于，传统矩阵恢复技术在我们的情况下并不直接适用。它们要么要求不一致性假设（或其变体），要么在我们的情况下需要不可实现的大量有限差分计算。为克服这些障碍，我们采用与适当矩阵测量相匹配的零阶 Hessian 估计，并为这些估计器证明了新的恢复保证。更具体地地，我们证明对于秩为 r 的 Hessian 矩阵 H ∈ ℝ^{n×n}，仅需 O(n r^2 log^2 n) 个恰当的零阶有限差分计算即可以高概率实现对 H 的精确恢复。与现有方法相比，我们的方法大大减少了有限差分计算的数量，且不需要任何不一致性假设。
关键词
引用
@article{arxiv.2402.05385,
title = {Zeroth-order Low-rank Hessian Estimation via Matrix Recovery},
author = {Tianyu Wang and Zicheng Wang and Jiajia Yu},
journal= {arXiv preprint arXiv:2402.05385},
year = {2024}
}