用于低秩矩阵恢复的调和平均迭代重加权最小二乘法

我们提出了一种新的迭代重加权最小二乘法（IRLS）算法，用于从不完整的线性观测中恢复秩 $r \ll\min(d_1,d_2)$ 的矩阵 $X \in \mathbb{C}^{d_1\times d_2}$，该方法求解一系列低复杂度的线性问题。这种易于实现的算法我们称之为调和平均迭代重加权最小二乘法（HM-IRLS），它优化非凸 Schatten-$p$ 拟范数惩罚以促进低秩性，并具有三大主要优势，特别是在矩阵补全场景中。首先，我们观察到在相关且有趣的情形下，算法迭代对低秩矩阵表现出显著的全局收敛行为，而其他任何最先进的优化方法均无法实现恢复。其次，即使测量次数非常接近理论下界 $r (d_1 +d_2 -r)$，HM-IRLS 也表现出接近 $1$ 的经验恢复概率，即所需的线性观测数显著少于文献中任何其他可行的方法。第三，如果线性观测满足合适的零空间性质，HM-IRLS 表现出局部超线性收敛速率（阶为 $2-p$）。尽管对于前两个性质我们目前仅有强有力的经验证据，但我们证明了第三个性质作为我们的主要理论结果。