中文

黎曼流形上锐利随机零阶 Hessian 估计量研究

机器学习 2022-09-28 v3 机器学习 数值分析 数值分析

摘要

我们研究定义于 nn 维完备解析黎曼流形上函数的 Hessian 估计量。我们利用 O(1)O (1) 次函数求值引入了新的随机零阶 Hessian 估计量。我们证明,对于解析实值函数 ff,我们的估计量达到阶为 O(γδ2) O \left( \gamma \delta^2 \right) 的偏差界,其中 γ \gamma 依赖于列维-奇维塔联络和函数 ff,而 δ\delta 为有限差分步长。据我们所知,我们的结果给出了首个显式依赖于底层黎曼流形几何的 Hessian 估计量偏差界。我们还研究了基于所提 Hessian 估计量的下游计算。经验评估证明了我们方法的优越性。

关键词

引用

@article{arxiv.2201.10780,
  title  = {On Sharp Stochastic Zeroth Order Hessian Estimators over Riemannian Manifolds},
  author = {Tianyu Wang},
  journal= {arXiv preprint arXiv:2201.10780},
  year   = {2022}
}

备注

Accepted to Information and Inference: A Journal of the IMA