关于样本外扩展的数学分析

设 $X=\mathbf{X}\cup\mathbf{Z}$ 为 $\mathbb{R}^D$ 中的一个数据集，其中 $\mathbf{X}$ 为训练集，$\mathbf{Z}$ 为测试集。许多基于核方法的无监督学习算法已发展出来，为给定训练集提供降维(DR)嵌入 $\Phi: \mathbf{X} \to \mathbb{R}^d$ ($d\ll D$)，将高维数据 $\mathbf{X}$ 映射到低维特征表示 $\mathbf{Y}=\Phi(\mathbf{X})$。然而，这些算法不能直接产生测试集 $\mathbf{Z}$ 的降维。样本外扩展方法利用已有嵌入 $\Phi$ 的扩展来提供 $\mathbf{Z}$ 的降维，而非对全体集合 $X$ 重新计算降维嵌入。在各种样本外降维扩展方法中，基于 Nystr"{o}m 近似的方法极具吸引力。许多论文已提出此类样本外扩展算法，并通过数值实验验证了其有效性。然而，降维扩展的数学理论仍需进一步探讨。本文利用再生核希尔伯特空间(RKHS)理论，对样本外降维扩展算子开展了初步的数学分析。它将样本外降维扩展算子视为定义在 $\mathbf{X}$ 上的 RKHS 中恒等算子的扩展。于是 Nystr"{o}m 型降维扩展被证明为正交投影。文中我们还给出了精确降维扩展的条件，并给出了扩展误差的估计。