通过额外子问题增强无参数Frank Wolfe算法

针对结构约束下的凸优化，本文引入并分析了一种称为 ExtraFW 的 Frank Wolfe（FW）算法变体。ExtraFW 的显著特征是每次迭代利用一对梯度，借此决策变量以预测-校正（PC）格式更新。在步长中不依赖任何问题相关参数，ExtraFW 对一般凸问题的收敛速率被证明为 ${\cal O}(\frac{1}{k})$，这在匹配所解 FW 子问题数下界的意义上是最优的。然而，ExtraFW 的优处在于其在一类机器学习问题上更快的速率 ${\cal O}\big(\frac{1}{k^2} \big)$。相较于在同一问题上具有更快速率的其他无参数 FW 变体，ExtraFW 因其 PC 更新而具有改进的速率和细粒度分析。在不同稀疏促进约束下的二分类数值测试表明，ExtraFW 的实证性能显著优于 FW，甚至在某些数据集上快于 Nesterov 加速梯度。对于矩阵补全，ExtraFW 具有更小的最优性间隙，以及比 FW 更低的秩。