基于双度量自适应投影方法的 $\ell_1$ 范数最小化求解

在本工作中，我们提出了一种高效的求解 $\ell_1$ 范数最小化问题的双度量自适应投影方法。我们的方法受双度量投影方法启发，这是 Bertsekas 针对边界/盒约束优化问题提出的一种简单而优雅的算法。该方法每次迭代的低计算成本，结合其融合 Hessian 信息的能力，使其对大规模问题极具吸引力，而我们提出的方法继承了这些优势。以往将双度量投影方法扩展至 $\ell_1$ 范数最小化的尝试依赖于将其中间转化为边界约束问题，这在实践中可能导致数值不稳定性，这与我们的方法形成鲜明对比。我们的算法具有精细的索引集划分、自适应投影和新颖的线搜索规则。在实际应用中，它可以适应奇异 Hessian 矩阵以及牛顿线性系统的不精确解。我们证明了我们的方法在理论上是可靠的——具有全局收敛性。此外，它是一种能够进行流形识别的有效集方法：底层的低维结构可以在有限次迭代中被识别，此后算法在识别出的子空间上退化为无约束牛顿法。在误差界条件下，该方法达到局部超线性收敛速率。因此，当解是稀疏的时，它在迭代次数上实现超快收敛，同时保持可扩展性，使其非常适合大规模问题。我们进行了广泛的数值实验，以证明所提出算法相对于文献中几种竞争方法（特别是在大规模设置下）的实际优势。