一种求解结构化凸优化的黄金比原始对偶算法

我们设计、分析并测试了一种黄金比原始对偶算法（GRPDA），用于求解结构化凸优化问题，其中目标函数为两个闭真凸函数之和，其中之一涉及与线性变换的复合。GRPDA 保留了经典原始对偶算法（PDA）的所有优良特性，即原始与对偶变量以 Gauss-Seidel 方式更新，且每次迭代的计算量主要由两个分量函数的邻近点映射求值与两次矩阵-向量乘法主导。与采用外推步的经典 PDA 相比，GRPDA 的新颖之处在于其基于本质上整个迭代轨迹的凸组合构造。我们证明，只要凸组合参数的倒数以上界不超过黄金比，GRPDA 就在比经典 PDA 更宽的参数范围内收敛，这也解释了该算法的命名。基于原始对偶间隙函数，我们还建立了 O(1/N) 的遍历收敛速率结果，其中 N 表示迭代次数。当原始或对偶问题为强凸时，构造了一种加速 GRPDA，将遍历收敛速率从 O(1/N) 提升至 O(1/N2)。此外，对于正则化最小二乘与线性等式约束问题，我们证明凸组合参数的倒数可从黄金比扩展至 2，同时可采取松弛步。我们在 LASSO、非负最小二乘与极小极大矩阵博弈问题上的初步数值结果，通过与若干前沿相对算法比较，证明了所提算法的有效性。