带广义 Nesterov 动量格式的加速前向-后向算法收敛速率分析

Nesterov 加速前向-后向算法（AFBA）是求解一类两项凸优化模型的高效算法，该类模型由一个具有 Lipschitz 连续梯度的可微函数加上一个其邻近算子有闭形式不可微函数构成。已有研究表明，采用改进 Nesterov 动量格式的 AFBA 生成的迭代序列以 $o\left(\frac{1}{k^2}\right)$ 的函数值收敛速率（FV收敛速率）和 $o\left(\frac{1}{k}\right)$ 的连续迭代间距收敛速率（DCI收敛速率）收敛到目标函数的最小点。本文提出一种更一般的动量格式，引入幂参数 $\omega\in(0,1]$，并证明采用该动量格式的 AFBA 以 $o\left(\frac{1}{k^{2\omega}}\right)$ 的 FV收敛速率和 $o\left(\frac{1}{k^{\omega}}\right)$ 的 DCI收敛速率收敛到目标函数的最小点。所提动量格式的通用性为不同场景提供了多样的参量选择，使所得算法更灵活地取得更优性能。随后我们将带所提动量格式的 AFBA 用于求解平滑 hinge 损失 $\ell_1$ 支持向量机模型。数值结果表明所提广义动量格式优于两种已有动量格式。