具有更快收敛速率的非平稳一阶原始对偶算法

本文提出两种新颖的非平稳一阶原始对偶算法，用于求解非光滑复合凸优化问题。与现有参数通常固定的原始对偶格式不同，我们的方法对参数采用预定义与动态序列。我们证明，第一种算法在原始对偶间隙以及原始与对偶目标残差上均可达到 $\mathcal{O}(1/k)$ 收敛速率，其中 $k$ 为迭代次数。我们的速率针对原始问题的非遍历（即末次迭代）序列与对偶问题的遍历（即平均）序列，称之为半遍历速率。通过修改步长更新规则，该速率在原始目标残差上可进一步提升。当问题强凸时，我们提出第二种原始对偶算法，在上述三类保证上均呈现 $\mathcal{O}(1/k^2)$ 收敛速率。同样通过修改步长更新规则，该速率在原始目标残差上变得更快。据我们所知，在温和假设下，我们的原始对偶算法是首个达到此类快速收敛速率保证的算法。作为副产品，我们将算法应用于求解约束凸优化问题，并证明在目标残差与可行性违反上均具有相同的收敛速率。即便问题为“半强凸”，我们仍至少获得 $\mathcal{O}(1/k^2)$ 速率。我们通过两个著名数值算例验证了理论结果。