过多割线：面向大规模数据集的基于割线的分层降维方法
计算机视觉与模式识别
2018-08-07 v1 机器学习
图像与视频处理
信号处理
摘要
在许多数据分析场景中，一个基本问题是辨别数据集的“自然”维数。即当数据集从某个流形（可能带噪声）中抽取时，该流形的维数便是数据的一个有意义方面。存在多种估计该维数的方法，例如割线回避投影（SAP）法。直观上，SAP算法试图确定一个能最佳保持数据集中所有点对间割线长度的投影；通过将算法应用于寻找到各维数向量空间的最佳投影，可以推断源流形的维数。亦即，可以获知在何种维数下能够在低维欧氏空间中构造数据的微分同胚副本。利用惠特尼嵌入定理，我们可以将此信息与数据的自然维数相关联。SAP算法的一个缺陷是，含个点的数据集有条割线，使得对所有割线进行计算和存储在极大数据集上不可行。本文提出一种新算法，推广SAP算法并着重解决此问题。具体而言，我们提出一种分层的基于割线的降维方法，可用于无法显式计算所有割线的大规模数据集。
引用
@article{arxiv.1808.01686,
title = {Too many secants: a hierarchical approach to secant-based dimensionality reduction on large data sets},
author = {Henry Kvinge and Elin Farnell and Michael Kirby and Chris Peterson},
journal= {arXiv preprint arXiv:1808.01686},
year = {2018}
}
备注
To appear in the Proceedings of the 2018 IEEE High Performance Extreme Computing Conference, Waltham, MA USA