缩放极限：在线学习算法的精确且易处理分析及其在正则化回归与PCA中的应用
机器学习
2017-12-13 v1 信息论
math.IT
概率论
机器学习
摘要
我们提出了一个框架，用于分析一类在线学习算法在高维缩放极限下的精确动力学。我们的结果应用于两个具体例子：在线正则化线性回归与主成分分析。当环境维度趋于无穷，并采用适当的时间缩放时，我们证明算法所提供的目标特征向量及其估计的时变联合经验测度将弱收敛于一个确定的测度值过程，该过程可刻画为某个非线性偏微分方程（PDE）的唯一解。该PDE的数值解可被高效获得。由于许多实际性能指标是联合经验测度的线性泛函，这些解可精确预测算法的性能。除了刻画在线学习算法的动态性能外，我们的渐近分析还提供了有用的见解。特别地，在高维极限下，由于可交换性，与算法相关的原始耦合动力学将渐近“解耦”，每个坐标通过随机梯度下降独立地求解一个一维有效最小化问题。利用这一见解处理非凸优化问题可能成为未来研究的有趣方向。
引用
@article{arxiv.1712.04332,
title = {Scaling Limit: Exact and Tractable Analysis of Online Learning Algorithms with Applications to Regularized Regression and PCA},
author = {Chuang Wang and Jonathan Mattingly and Yue M. Lu},
journal= {arXiv preprint arXiv:1712.04332},
year = {2017}
}