惰性随机主成分分析
机器学习
2017-09-22 v1
摘要
随机主成分分析（SPCA）已成为处理大规模高维数据集的一种流行降维策略。我们推导出一种称为惰性SPCA的简化算法，该算法降低了计算复杂度，更适用于大规模分布式计算。我们证明SPCA与惰性SPCA找到相同的主子空间近似，且低维空间中样本间的成对距离不因是否惰性执行SPCA而改变。实证研究发现，在多种预测模型（线性回归、逻辑Lasso回归和随机森林）中，两种方法的下游预测性能完全相同，且均优于随机投影。在我们最大规模、包含460万样本的实验中，惰性SPCA将43.7小时的计算时间缩减至9.9小时。总体而言，惰性SPCA仅依赖矩阵乘法，以及一个在小方阵上的操作，该方阵的大小仅取决于目标维度。
引用
@article{arxiv.1709.07175,
title = {Lazy stochastic principal component analysis},
author = {Michael Wojnowicz and Dinh Nguyen and Li Li and Xuan Zhao},
journal= {arXiv preprint arXiv:1709.07175},
year = {2017}
}
备注
To be published in: 2017 IEEE International Conference on Data Mining Workshops (ICDMW)