非多面体凸问题上对偶坐标下降的线性收敛

本文研究约束凸问题，其中目标函数为光滑强凸函数，可行域表示为大量闭凸（可能非多面体）集合的交。为高效处理复杂约束，我们考虑该问题的对偶形式。我们证明，只要目标函数光滑且强凸，且各集合满足 Slater 条件，相应的对偶函数在任何子水平集上满足二次增长性质。据我们所知，本工作是首个在这些一般假设下推导对偶二次增长条件的研究。已有文献在更保守的假设（例如集合需为多面体或紧集）下导出类似二次增长条件。进而，针对该对偶问题的最小值求解，因其特殊的复合结构，我们提出随机（加速）坐标下降算法。然而，依现有理论只能证明此类方法次线性收敛。基于我们新推导的对偶二次增长性质，我们现证明此类方法具有更快收敛，即对偶随机（加速）坐标下降算法线性收敛。除提供用于分析随机坐标下降格式的通用对偶框架外，我们的结果解决了文献中关于 Dykstra 算法在凸集族最佳可行性问题上收敛性的一个开放问题。即，我们建立了当凸集满足 Slater 条件时随机 Dykstra 算法的线性收敛速率，并导出了 Dykstra 算法的一种新加速变体。