关于非贪婪算法与带外推的近端交替最小化方法在 $L_1$ 范数 PCA 中的有限步收敛性

本文重新审视了经典的用于 $L_1$ 范数 PCA 的非贪婪算法（NGA）与最近提出的带外推的近端交替最小化方法（PAMe），并研究了它们的有限步收敛性。首先表明 NGA 可解释为条件次梯度法或交替最大化方法。通过将其视为条件次梯度法，我们证明了在某一满秩假设下，算法生成的迭代点将在有限步内保持恒定；当投影维数为一时可去掉该假设。通过将算法视为交替最大化，我们进而证明了目标值将在至多 $\left\lceil\frac{F^{\max}}{\tau_0} \right\rceil$ 步后固定，其中停止点满足一定的 optimality 条件。随后，分析了对 NGA 的一个具有改进收敛性质的轻微修改。结果表明，修改后的算法生成的迭代点在至多 $\left\lceil\frac{2F^{\max}}{\tau} \right\rceil$ 步后将不再改变；此外，若近端参数 $\tau$ 足够小，则停止点满足一定的 optimality 条件。对于 PAMe，证明了在参数足够小且满足满秩假设时，符号变量将在有限步后保持恒定，且算法可输出满足一定 optimality 条件的点。此外，若在与投影矩阵相关的子问题上无近端项，则在类似于 PAMe 的假设下，该修改算法生成的迭代点在至多 $\left\lceil \frac{4F^{\max}}{\tau(1-\gamma)} \right\rceil$ 步后将不再改变，且停止点也满足一定的 optimality 条件。当投影维数为一时可去掉满秩假设。