探索二阶方法中雅可比不完整性：下界、最优算法与准Newton 近似
最优化与控制
2024-05-29 v2
摘要
变分不等式代表了一类广泛存在于机器学习中的问题，包括最小化和 min-max 问题。现有的二阶和高阶方法对于变分不等式需要精确计算导数，常常导致迭代成本极高。在本工作中，我们研究了雅可比不准确性对二阶方法的影响。对于光滑且单调的情况，我们建立了一个对雅可比不准确性具有显式依赖性的下界，并提出了一种针对该关键情形的最优算法。当导数精确时，我们的方法以与精确最优二阶方法相同的收敛速率收敛。为了降低求解所有具有全局收敛性的高阶方法中产生的辅助问题的成本，我们引入了几种准Newton 近似。我们的方法通过准Newton 更新实现了全局亚线性收敛速率。我们将方法扩展到高阶不准确导数的张量一般化，并通过实验支持理论。
引用
@article{arxiv.2405.15990,
title = {Exploring Jacobian Inexactness in Second-Order Methods for Variational Inequalities: Lower Bounds, Optimal Algorithms and Quasi-Newton Approximations},
author = {Artem Agafonov and Petr Ostroukhov and Roman Mozhaev and Konstantin Yakovlev and Eduard Gorbunov and Martin Takáč and Alexander Gasnikov and Dmitry Kamzolov},
journal= {arXiv preprint arXiv:2405.15990},
year = {2024}
}