具有全局线性收敛率的基追踪迭代重加权最小二乘法

稀疏数据的恢复是机器学习和信号处理中许多应用的核心。虽然此类问题可以使用 $\ell_1$ 正则化来解决，如 LASSO 估计量和基追踪（Basis Pursuit）方法中所用，但通常需要专门的算法来求解相应的大规模高维非光滑优化问题。迭代重加权最小二乘法（IRLS）由于其优异的数值性能而被广泛用于此目的。然而，尽管现有理论能够保证该算法收敛到极小元，但它并未给出全局收敛速率。在本文中，我们证明了 IRLS 的一个变体在全局线性速率下收敛到稀疏解，即，若测量满足通常的零空间性质假设，则从任意初始化开始即立即出现线性误差下降。我们通过数值实验支撑了我们的理论，表明我们的线性速率抓住了正确的维数依赖关系。我们预期我们的理论发现将为 IRLS 算法的许多其他用例（例如低秩矩阵恢复）带来新的见解。