主成分分析 (PCA) 下数据重构误差与成对距离收缩的相关性
机器学习
2014-12-23 v1 机器学习
摘要
在这项正在进行的工作中，我探讨了主成分分析 (PCA) 下数据变换的某些理论和实证含义。具体而言，我陈述并证明了关于 PCA 的三个定理，概括如下：1) 不舍弃特征向量行的 PCA 是单射的，但在舍弃特征向量行时会失去这种单射性；2) 不舍弃特征向量行的 PCA 保持成对距离，但在舍弃特征向量行时往往导致成对距离收缩；3) 对于任意一对点，成对距离的收缩上限由与该点相关的 L1 范数重构误差界定。显然，3) 表明成对距离的收缩与均方重构误差（定义为与舍弃的特征向量相关联的那些特征值之和）之间可能存在某种相关性。因此，我决定进行数值实验，以获得那些特征值之和与成对距离收缩之间的相关性。此外，我还进行了一些实验，分别检查了那些特征值之和以及收缩对 PCA 映射下分类准确率的影响。迄今为止，我在来自 UCI 机器学习知识库的一些公开数据上获得了以下结果：1) 与舍弃的特征向量相关联的那些特征值之和与成对距离的收缩之间似乎存在很强的相关性。2) 那些特征值之和或成对距离都与分类准确率没有任何强相关性。
引用
@article{arxiv.1412.6752,
title = {Correlation of Data Reconstruction Error and Shrinkages in Pair-wise Distances under Principal Component Analysis (PCA)},
author = {Abdulrahman Oladipupo Ibraheem},
journal= {arXiv preprint arXiv:1412.6752},
year = {2014}
}