中文

Stiefel 流形上的 $O(k)$-等变降维

计算几何 2025-04-16 v3 机器学习 代数拓扑

摘要

许多真实世界数据集存在于高维 Stiefel 流形与 Grassmann 流形 Vk(RN)V_k(\mathbb{R}^N)Gr(k,RN)Gr(k, \mathbb{R}^N) 上,并可受益于向低维 Stiefel 与 Grassmann 流形的投影。本文中,我们提出一种称为\textit{主 Stiefel 坐标(PSC)}的算法,以\textit{O(k)O(k)-等变}方式将数据的维数从 Vk(RN) V_k(\mathbb{R}^N) 降至 Vk(Rn)V_k(\mathbb{R}^n)knNk \leq n \ll N)。我们首先观察到每个元素 αVn(RN)\alpha \in V_n(\mathbb{R}^N) 都定义了 Vk(Rn)V_k(\mathbb{R}^n)Vk(RN)V_k(\mathbb{R}^N) 的一个等距嵌入。接着,我们描述了寻找合适嵌入映射 α\alpha 的两种方式:一种通过主成分分析的扩展(αPCA\alpha_{PCA}),另一种利用梯度下降进一步最小化数据拟合误差(αGD\alpha_{GD})。然后,我们定义一个连续且 O(k)O(k)-等变的映射 πα\pi_\alpha,其充当“最近点算子”,在由 α\alpha 确定的嵌入下将数据投影到 Vk(RN)V_k(\mathbb{R}^N)Vk(Rn)V_k(\mathbb{R}^n) 的像上,同时使畸变最小。由于该降维是 O(k)O(k)-等变的,这些结果也推广至 Grassmann 流形。最后,我们证明在无噪设定下 παPCA\pi_{\alpha_{PCA}} 全局最小化投影误差,而当数据并非精确位于如上线性嵌入的低维 Stiefel 流形之像上时,παGD\pi_{\alpha_{GD}} 取得了明显不同且更优的结果。我们使用合成与真实世界数据进行了多项数值实验。

关键词

引用

@article{arxiv.2309.10775,
  title  = {$O(k)$-Equivariant Dimensionality Reduction on Stiefel Manifolds},
  author = {Andrew Lee and Harlin Lee and Jose A. Perea and Nikolas Schonsheck and Madeleine Weinstein},
  journal= {arXiv preprint arXiv:2309.10775},
  year   = {2025}
}

备注

Minor updates to introduction. To appear in SIAM Journal on Mathematics of Data Science