一种用于公平主成分分析的高效交替黎曼/投影梯度下降 ascent 算法

公平主成分分析（FPCA）是信号处理与机器学习中一种普遍存在的降维技术，旨在从公平性角度为高维数据集寻找低维表示。FPCA 问题涉及在 Stiefel 流形上优化一个非凸且非光滑的函数。求解该问题的现有最优方法为次梯度方法和基于半定松弛的方法。然而，这两类方法存在明显局限，因此仅适用于特殊场景下的 FPCA 问题高效求解。本文旨在为一般尤其是大规模场景下的 FPCA 问题开发高效算法。本文首先将 FPCA 转化为 Stiefel 流形上的光滑非凸线性极小极大优化问题。为求解上述一般问题，我们提出一种高效的交替黎曼/投影梯度下降 ascent（ARPGDA）算法，其在每次迭代中执行一步黎曼梯度下降和一步普通投影梯度 ascent。我们证明 ARPGDA 能在 $\mathcal{O}(\varepsilon^{-3})$ 次迭代内找到上述问题的 $\varepsilon$-平稳点。仿真结果表明，与现有最优方法相比，我们所提出的 ARPGDA 算法在求解 FPCA 问题时在解质量和速度方面均能获得更优性能。