关于矩阵补全中迭代硬阈值算法的渐近线性收敛速率
最优化与控制
2023-01-11 v2 信息论
math.IT
摘要
迭代硬阈值（IHT）在过去几十年中于大规模优化领域日益流行。然而，该方法的收敛性质直到最近才在非凸设定下被探讨。在矩阵补全中，现有工作常通过不相干性和均匀采样等标准假设来关注 IHT 全局收敛的保证。尽管此类分析给出了线性收敛速率的全局上界，它并未描述 IHT 在实际中的真实表现。本文中，我们对用于矩阵补全的某一特定 IHT 变体的局部收敛提供了新的见解。我们揭示了 IHT 的精确线性速率的闭式表达，并确定了算法保证收敛的收敛区域。此外，我们利用随机矩阵理论来研究 IHTSVD 在大规模矩阵补全中的线性收敛速率。我们发现，渐近地，该速率可用相对秩和采样率的闭式表达表示。最后，我们给出多种数值结果以验证上述理论分析。
引用
@article{arxiv.2112.14733,
title = {On Asymptotic Linear Convergence Rate of Iterative Hard Thresholding for Matrix Completion},
author = {Trung Vu and Evgenia Chunikhina and Raviv Raich},
journal= {arXiv preprint arXiv:2112.14733},
year = {2023}
}
备注
13 pages (plus Supplementary Material)