基于分步相关多模态CNN的公共表示学习
计算机视觉与模式识别
2017-11-02 v1
摘要
深度学习技术已成功用于学习多视图数据的公共表示，其中不同模态被投影到一个公共子空间中。从更广阔的视角看，用于研究公共表示学习的技术可分为基于典型相关的方法和基于自编码器的方法两类。本文研究了基于深度自编码器的方法在多视图数据上的性能。我们提出了一种新颖的基于分步相关的多模态CNN（CorrMCNN），其在每个隐藏层或每个中间步骤增强表示之间交互的同时，根据一个视图重建另一视图的数据。最后，我们在两个基准数据集——MNIST和XRMB上评估了所提模型的性能。通过大量实验，我们发现所提模型在联合公共表示学习和迁移学习任务上取得了优于当前最先进技术的性能。
引用
@article{arxiv.1711.00003,
title = {Common Representation Learning Using Step-based Correlation Multi-Modal CNN},
author = {Gaurav Bhatt and Piyush Jha and Balasubramanian Raman},
journal= {arXiv preprint arXiv:1711.00003},
year = {2017}
}
备注
Accepted in Asian Conference of Pattern Recognition (ACPR-2017)