低秩优化中高效计算 Bouligand 稳定点

Guillaume Olikier; P. -A. Absil

低秩优化中高效计算 Bouligand 稳定点

最优化与控制 2024-09-20 v1 数值分析数值分析

作者: Guillaume Olikier , P. -A. Absil

摘要

本文考虑了在秩至多为 $r$ 的 $m \times n$ 实矩阵代数簇上，最小化具有局部 Lipschitz 连续梯度的可微函数的问题。对于这个非凸问题，存在多种稳定性的定义。其中，Bouligand 稳定性是局部最优性的最强必要条件。只有少数算法能生成簇中的序列，其聚点可证明是 Bouligand 稳定的。其中，最节省(截断)奇异值分解(SVD)或特征值分解的算法，在梯度秩不高的情况下，仍可能需要对一个秩高达 $\min\{m, n\}-r+1$ 的矩阵进行截断 SVD，这在 $r \ll \min\{m, n\}$ 的典型情况下计算代价过高。本文提出一种一阶算法，其生成的簇中序列的聚点是 Bouligand 稳定的，且所需的 SVD 矩阵的较小维度始终至多为 $r$ 。Bouligand 稳定性的标准度量沿有界子序列以至少 $O(1/\sqrt{i+1})$ 的速率收敛到零，其中 $i$ 是迭代计数器。此外，本文还提出了一种基于所提算法的秩递增方案，当参数 $r$ 可能被高估时，该方案可能具有实用价值。

关键词

low-rank optimization Bouligand stationarity first-order algorithm singular value decomposition rank-increasing scheme

引用

@article{arxiv.2409.12298,
  title  = {Computing Bouligand stationary points efficiently in low-rank optimization},
  author = {Guillaume Olikier and P. -A. Absil},
  journal= {arXiv preprint arXiv:2409.12298},
  year   = {2024}
}

低秩优化中高效计算 Bouligand 稳定点

摘要

关键词

引用

相关论文