基于李群的随机 Hessian 拟合

本报告研究了利用源自预条件随机梯度下降 (PSGD) 方法的 Hessian 拟合准则，对随机优化中的 Hessian 矩阵或其逆矩阵进行拟合。该准则与许多广泛使用的二阶和自适应梯度优化方法密切相关，包括 BFGS、Gauss-Newton 算法、自然梯度下降和 AdaGrad。我们的分析揭示了各种预条件子拟合方法在效率和可靠性上的差异，这些方法范围从闭式解到迭代法，仅使用 Hessian-向量积或随机梯度，并在各种几何设置（欧几里得空间、对称正定 (SPD) 矩阵流形以及各种李群）下进行 Hessian 拟合。最有趣的发现是，在某些一般李群中，Hessian 拟合问题在温和条件下是强凸的。这一结果将 Hessian 拟合转化为一个性质良好的李群优化问题，并促进了针对大规模随机优化的高效且优雅的李群稀疏预条件子拟合方法的设计。