典型相关分析的高效全局收敛随机优化
机器学习
2016-11-15 v4
摘要
我们研究了典型相关分析(CCA)的随机优化，其目标函数非凸且不在训练样本上解耦。尽管近来已有若干基于随机梯度的优化算法被提出以解决该问题，但它们均未提供全局收敛保证。受CCA的交替最小二乘/幂迭代形式，以及主成分分析(PCA)的移位求逆预处理方法启发，我们提出了两种用于CCA的全局收敛元算法，二者均将原始问题转化为只需近似求解的一系列最小二乘问题。我们使用最先进的SGD方法实例化这些元算法，获得了显著优于先前工作的时间复杂度。实验结果展示了其优越性能。
引用
@article{arxiv.1604.01870,
title = {Efficient Globally Convergent Stochastic Optimization for Canonical Correlation Analysis},
author = {Weiran Wang and Jialei Wang and Dan Garber and Nathan Srebro},
journal= {arXiv preprint arXiv:1604.01870},
year = {2016}
}
备注
Accepted by NIPS 2016