大规模广义特征向量计算与典型相关分析的高效算法

本文研究典型相关分析（CCA）（Hotelling, 1936）问题，更广泛地，研究一对对称矩阵的广义特征向量问题。这两个是数据分析和科学计算中的基本问题，在机器学习和统计学中有大量应用（Shi and Malik, 2000; Hardoon et al., 2004; Witten et al., 2009）。我们提供了求解这些问题的简单迭代算法，其运行时间得到改进，具有全局线性收敛性，且对所涉矩阵的条件数和特征值间隙有适度依赖。我们通过将CCA归约为前$k$广义特征向量问题得到上述结果。我们通过一个仅需黑盒访问近似线性系统求解器的通用框架来解决该问题。用加速梯度下降实例化该框架，我们得到运行时间$O(\frac{z k \sqrt{\kappa}}{\rho} \log(1/\epsilon) \log \left(k\kappa/\rho\right))$，其中$z$是非零元素总数，$\kappa$是条件数，$\rho$是相应矩阵的相对特征值间隙。我们的算法在输入规模和分量数$k$上直至$\log(k)$因子是线性的。这对于处理实践中出现的大规模矩阵至关重要。据我们所知，这是首个具有全局线性收敛性的此类算法。我们希望我们的结果促进进一步研究，并最终改善在大型数据集上执行这些重要数据分析过程的实用运行时间。