面向随机典型相关分析的在线黎曼 PCA

我们提出一种高效的随机算法 (RSG+)，利用投影矩阵的重参数化进行典型相关分析 (CCA)。我们展示了这一事后看来简单的重参数化（为结构化矩阵）如何直接带来契机，以重新调整/改进黎曼流形上数值优化的成熟技术。我们的发展很好地补充了该问题的现有方法——现有方法要么每次迭代需要 $O(d^3)$ 时间复杂度和 $O(\frac{1}{\sqrt{t}})$ 收敛速率（其中 $d$ 为维度），要么仅提取 top $1$ 分量且收敛速率为 $O(\frac{1}{t})$。相比之下，我们的算法对这一经典问题给出了严格改进：在以 $O(\frac{1}{t})$ 收敛速率提取 top $k$ 个典型分量时，每次迭代运行复杂度为 $O(d^2k)$。尽管本文主要关注其公式表述与性质的技术分析，我们的实验表明其在常用数据集上的经验表现颇具前景。我们还探索了在受保护属性标签缺失或不可用时训练公平模型中的潜在应用。