黎曼流形与 Banach 空间上具有良好全局收敛保证的若干迭代算法

Tuyen Trung Truong

黎曼流形与 Banach 空间上具有良好全局收敛保证的若干迭代算法

最优化与控制 2025-05-29 v1 动力系统

作者: Tuyen Trung Truong

摘要

在本文中,我们引入了一些在黎曼流形和 Hilbert 空间上的新迭代优化算法,这些算法对局部极小值具有良好的全局收敛保证。更准确地说,这些算法具有以下性质: 如果 $\{x_n\}$ 是由其中一种算法构造的序列,则: - 寻找临界点: $\{x_n\}$ 的任何聚点都是代价函数 $f$ 的临界点。 - 收敛保证: 在适当的假设下,序列 $\{x_n\}$ 要么收敛于点 $x^*$ ,要么发散至 $\infty$ 。 - 避免鞍点: 如果 $x_0$ 是随机选择的,则序列 $\{x_n\}$ 不能收敛到鞍点。我们的结果适用于相当一般的情况: 假设代价函数 $f$ 仅为 $C^2$ 或 $C^3$ ,且 $f$ 要么至多有可数个临界点(这是一种一般情形),要么满足某些 Lojasiewicz 梯度不等式。为了说明结果,我们给出了一个关于欧几里得空间中单位球面上优化的精彩应用。至于结果所需的工具,在黎曼流形情况下,我们引入了“强局部收缩”的概念,以及(用于处理牛顿法类型)“实解析类强局部收缩”的概念。在 Banach 空间情况下,我们对“shyness”概念进行了轻微推广,并设计了回溯新 Q-牛顿法的一个新变体,它更适合无限维环境(且在欧几里得环境中比当前版本更简单)。

关键词

迭代算法黎曼流形 Banach 空间全局收敛鞍点 Lojasiewicz 梯度不等式

引用

@article{arxiv.2505.22180,
  title  = {Some iterative algorithms on Riemannian manifolds and Banach spaces with good global convergence guarantee},
  author = {Tuyen Trung Truong},
  journal= {arXiv preprint arXiv:2505.22180},
  year   = {2025}
}

备注

37 pages. This paper is based on the author's preprints arXiv:2001.05768 and arXiv:2008.11091, and supersede them. The preprint arXiv:2001.05768 treated a variant of Backtracking Gradient Descent on Banach spaces. However, the results there implicitly use an assumption that the concerned maps have factors on finite dimensional subspaces, which is removed in this paper

黎曼流形与 Banach 空间上具有良好全局收敛保证的若干迭代算法

摘要

关键词

引用

备注

相关论文