基于非线性正交迭代的深度CCA随机优化
机器学习
2015-10-08 v1
摘要
深度CCA是最近提出的对传统典型相关分析(CCA)的深度神经网络扩展，已在多个领域的多视图表示学习中取得成功。然而，深度CCA目标的随机优化并不简单，因为它不会在训练样本上解耦。先前用于深度CCA的优化器要么是基于批的算法，要么是使用大最小批的随机优化，这可能具有高内存消耗。在本文中，我们基于CCA目标的迭代解，解决了使用小最小批的深度CCA随机优化问题，并展示我们可以达到与先前优化器同等的性能，从而缓解内存需求。
引用
@article{arxiv.1510.02054,
title = {Stochastic Optimization for Deep CCA via Nonlinear Orthogonal Iterations},
author = {Weiran Wang and Raman Arora and Karen Livescu and Nathan Srebro},
journal= {arXiv preprint arXiv:1510.02054},
year = {2015}
}
备注
in 2015 Annual Allerton Conference on Communication, Control and Computing