低秩优化中高效计算 Bouligand 静止点
分布式、并行与集群计算
2024-09-20 v1
摘要
本文考虑在所有 m×n 实矩阵、秩至多为 r 的代数 variety 上，对可微函数进行最小化问题，该函数的梯度在局部 Lipschitz 连续。对于这一非凸问题，存在多种静止性定义，其中 Bouligand 静止性是局部最优性的最强必要条件。只有少数算法能够生成序列位于该 variety 中，其累积点可证为 Bouligand 静止。在这些算法中，最简约的使用（截断）奇异值分解（SVD）或特征值分解的算法仍可能需要对秩可达为 min{m,n}-r+1 的矩阵进行截断 SVD，这在典型情况下（即 r << min{m,n}）计算上是昂贵的。本文提出一种一阶算法，生成序列位于该 variety 中，其累积点为 Bouligand 静止，同时要求矩阵的较小维度始终不超过 r。其中一种标准的 Bouligand 静止性度量在有界子列处收敛于零，收敛速率至少为 O(1/√(i+1)，其中 i 为迭代计数器。此外，本文还提出一种基于所提出算法的秩递增方案，若参数 r 可能被高估，这一方案可能具有一定的兴趣。
引用
@article{arxiv.2409.12297,
title = {Hypersparse Traffic Matrices from Suricata Network Flows using GraphBLAS},
author = {Michael Houle and Michael Jones and Dan Wallmeyer and Risa Brodeur and Justin Burr and Hayden Jananthan and Sam Merrell and Peter Michaleas and Anthony Perez and Andrew Prout and Jeremy Kepner},
journal= {arXiv preprint arXiv:2409.12297},
year = {2024}
}