约束最小二乘投影梯度下降的渐近线性收敛性

信号处理与机器学习中的许多近期问题，如压缩感知、图像复原、矩阵/张量恢复及非负矩阵分解，均可化为约束优化。投影梯度下降是求解此类约束优化问题简单而高效的方法。局部收敛分析深化了我们在解附近对其渐近行为的理解，相较全局收敛分析给出了更紧的收敛速率界。然而，局部保证常散见于机器学习与信号处理中各具体问题领域。本稿提出约束最小二乘背景下投影梯度下降局部收敛分析的统一框架。所提分析揭示了关键的局部收敛性质，如线性收敛条件、收敛区域、确切渐近收敛速率，以及达到特定精度所需迭代次数的界。为展示所提方法的适用性，我们给出投影梯度下降收敛分析的一套流程，并通过将该流程端到端地应用于四个基本问题予以演示，即线性等式约束最小二乘、稀疏恢复、单位范数约束最小二乘与矩阵补全。