张量PCA的同伦分析
机器学习
2017-06-15 v4 机器学习
摘要
开发高效且有保证的非凸算法是现代机器学习的重要挑战。经验性能良好的算法（如随机梯度下降）常常缺乏理论保证。本文分析用于非凸函数全局优化的同伦或延拓方法类。这些方法从易于优化的目标函数（例如凸函数）开始，逐步修改它以获得所需目标，解沿同伦路径传递。对于张量 PCA 这一挑战性问题，我们证明了同伦方法在“高噪声”机制下的全局收敛性。我们算法的信噪比要求是最紧的，因为它匹配了最佳四次平方和算法的恢复保证。此外，我们证明了张量 PCA 沿同伦路径的相变。这使得可以将同伦方法简化为一种局部搜索算法，即张量幂迭代，带有特定初始化和噪声注入过程，同时保留理论保证。
引用
@article{arxiv.1610.09322,
title = {Homotopy Analysis for Tensor PCA},
author = {Anima Anandkumar and Yuan Deng and Rong Ge and Hossein Mobahi},
journal= {arXiv preprint arXiv:1610.09322},
year = {2017}
}
备注
Accepted to COLT 2017