求解复合自和谐最小化的随机块邻近阻尼牛顿法

本文考虑复合自和谐（CSC）最小化问题，即最小化一个自和谐函数$f$与一个（可能非光滑的）适当闭凸函数$g$之和。CSC最小化是求解一大类凸优化问题的路径跟踪内点法的基石，也在机器学习中找到了众多应用。文献中已对求解此问题的邻近阻尼牛顿（PDN）方法进行了充分研究，这些方法具有良好的迭代复杂度。鉴于这些方法在每次迭代时通常需要评估或访问$f$的Hessian矩阵，并且还需要求解一个邻近牛顿子问题，当应用于大规模问题时，每次迭代的成本可能高得令人望而却步。受近期块坐标下降方法成功的启发，我们提出了一种求解CSC最小化的随机块邻近阻尼牛顿（RBPDN）方法。与PDN方法相比，RBPDN每次迭代的计算成本通常显著更低。在一类正则化逻辑回归问题上的计算实验表明，RBPDN在求解大规模CSC最小化问题方面确实很有前景。本文还分析了RBPDN的收敛性。特别地，我们证明当$g$是Lipschitz连续时，RBPDN是全局收敛的。还证明了RBPDN具有局部线性收敛性。此外，我们证明对于包括$g$为Lipschitz可微情况在内的一类$g$，RBPDN具有全局线性收敛性。一个引人注目的结果是，它表明对于此类$g$，经典的阻尼牛顿方法[22,40]和PDN方法[31]是全局线性收敛的，这在文献中此前是未知的。而且，这一结果可用于改进这些方法现有的迭代复杂度。