带线搜索的黄金比原始对偶算法

黄金比原始对偶算法（GRPDA）是经典 Arrow-Hurwicz 方法的一种新变体，用于求解结构化凸优化问题，其中目标函数由两个闭正常凸函数之和构成，其中一个函数涉及与线性变换的复合。本文我们为 GRPDA 提出一种线搜索策略，该策略不仅不需要线性变换的谱范数，而且允许自适应且可能大得多的步长。在每个线搜索步内，仅需更新对偶变量，因此计算代价很低，并且对于许多特殊但重要的应用（例如正则化最小二乘问题）不需要任何额外的矩阵-向量乘法。我们建立了以原始对偶间隙函数度量的全局收敛性和 ${\cal O}(1/N)$ 遍历收敛速率结果，其中 $N$ 表示迭代次数。当其中一个分量函数强凸时，通过自适应选取某些算法参数，建立了更快的 ${\cal O}(1/N^2)$ 遍历收敛速率结果。此外，当两个分量函数均强凸时，建立了非遍历线性收敛结果。在矩阵博弈和 LASSO 问题上的数值实验说明了所提线搜索策略的有效性。