局部线性嵌入、因子分析与概率 PCA 之间的理论联系
机器学习
2022-09-13 v2 机器学习
摘要
局部线性嵌入（LLE）是一种非线性谱降维与流形学习方法。它有两个主要步骤，分别是输入空间中点的线性重构与嵌入空间中点的线性嵌入。本文从随机视角考察线性重构步骤，假设每个数据点以其线性重构权重为条件作为潜在因子。LLE 的随机线性重构通过期望最大化求解。我们展示了三种基础降维方法即 LLE、因子分析与概率主成分分析（PCA）之间的理论联系。LLE 的随机线性重构被表述为类似于因子分析与概率 PCA 的形式。同时也解释了为何因子分析与概率 PCA 是线性的而 LLE 是非线性方法。本工作结合并搭建了降维的两大类方法即谱算法与概率算法之间的桥梁。
引用
@article{arxiv.2203.13911,
title = {Theoretical Connection between Locally Linear Embedding, Factor Analysis, and Probabilistic PCA},
author = {Benyamin Ghojogh and Ali Ghodsi and Fakhri Karray and Mark Crowley},
journal= {arXiv preprint arXiv:2203.13911},
year = {2022}
}
备注
Accepted for presentation at the Canadian AI 2022 (Canadian Conference on Artificial Intelligence). This paper has some shared materials with our other paper arXiv:2104.01525 but its focus and aim are different from that paper. v2: corrected a mathematical typo