随机典型相关分析

我们研究典型相关分析（CCA）的样本复杂度，即估计总体典型相关和方向至任意小误差所需的样本数量。在数据分布的温和假设下，我们证明，为在估计的典型方向与总体解之间一个恰当定义的比对度量上达到 $\epsilon$-次优性，我们可以用 $N(\epsilon, \Delta, \gamma)$ 个样本精确求解经验目标，其中 $\Delta$ 是白化互协方差矩阵的奇异值间隙，$1/\gamma$ 是自协方差矩阵条件数的上界。此外，我们可以通过抽取相同数量的样本并使用随机优化算法近似求解经验目标来达到相同的学习精度；该算法基于移位-求逆幂迭代，仅需对数据集进行 $\mathcal{O}\left(\log \frac{1}{\epsilon} \right)$ 次遍历处理。最后，我们证明，在给定典型相关估计的情况下，流式版本的移位-求逆幂迭代仅通过一次数据处理，就能以相同的样本复杂度水平达到相同的学习精度。