高维稀疏 PCA 的在线学习：精确动力学与相变
信息论
2016-09-09 v1 无序系统与神经网络
math.IT
摘要
我们研究了一种在线算法的动力学，该算法从尖协方差模型生成的样本中学习稀疏主特征向量。该算法将经典的 Oja 在线 PCA 方法与每次迭代中的逐元素非线性相结合，以促进稀疏性。在高维极限下，底层稀疏特征向量与算法提供的估计值的联合经验测度被证明弱收敛到一个确定性的测度值过程。该缩放极限被表征为非线性 PDE 的唯一解，并提供了关于算法渐近性能的精确信息。例如，可以通过检查极限动力学获得诸如余弦相似度和稀疏支撑恢复中的误分类率等性能指标。对非线性 PDE 的稳态分析还揭示了一个有趣的相变现象。尽管我们的分析本质上是渐近的，但数值模拟表明理论预测对于中等信号维度是准确的。
引用
@article{arxiv.1609.02191,
title = {Online Learning for Sparse PCA in High Dimensions: Exact Dynamics and Phase Transitions},
author = {Chuang Wang and Yue M. Lu},
journal= {arXiv preprint arXiv:1609.02191},
year = {2016}
}
备注
5 pages