关于深度多视图表示学习：目标与优化
机器学习
2016-02-03 v1
摘要
我们考虑在如下设定中学习表示（特征）：可获取数据的多个无标签视图用于学习，而下游任务仅能用一个视图。此前关于该问题的工作提出了几种基于深度神经网络的技术，通常要么涉及带有重构目标的自编码器类网络，要么涉及带有批式基于相关性目标的成对前馈网络。我们分析了基于先前工作的几种技术以及新变体，并在图像、语音和文本任务上进行了实证比较。我们发现基于相关性的表示学习具有优势，而在大多数任务上的最佳结果由我们的新变体——深度典型相关自编码器（DCCAE）获得。我们还探索了针对小批量基于相关性目标的随机优化过程，并讨论了基于核与基于神经网络实现的性能/时间权衡。
引用
@article{arxiv.1602.01024,
title = {On Deep Multi-View Representation Learning: Objectives and Optimization},
author = {Weiran Wang and Raman Arora and Karen Livescu and Jeff Bilmes},
journal= {arXiv preprint arXiv:1602.01024},
year = {2016}
}