通过原始对偶加速对偶平均实现非光滑凸有限和的方差缩减

我们研究在机器学习应用中广泛出现的结构化非光滑凸有限和优问题，包括支持向量机和最小绝对偏差。针对该问题的原始对偶形式，我们提出了一种称为“通过原始对偶加速对偶平均实现方差缩减（\vrpda）”的新算法。在非光滑一般凸设定下，就原始对偶间隙而言，\vrpda~的总体复杂度为 $O(nd\log\min \{1/\epsilon, n\} + d/\epsilon )$，其中 $n$ 表示样本数，$d$ 表示原始变量维数，$\epsilon$ 表示所需精度。在非光滑强凸设定下，就原始对偶间隙以及迭代点与最优解之间的距离而言，\vrpda~的总体复杂度变为 $O(nd\log\min\{1/\epsilon, n\} + d/\sqrt{\epsilon})$。\vrpda~的这些结果均以更为简单直接的方式显著改进了现有最优复杂度估计：非光滑一般凸设定下为 $O(nd\log \min\{1/\epsilon, n\} + \sqrt{n}d/\epsilon)$，非光滑强凸设定下为 $O(nd\log \min\{1/\epsilon, n\} + \sqrt{n}d/\sqrt{\epsilon})$。此外，这两种复杂度均优于缺乏我们所考虑的那种特定（常见）结构的一般凸有限和的下界。我们的理论结果得到了数值实验的支持，实验证实了 \vrpda~相较于现有最优方法的竞争性能。