DeMIAN：深度模态不变对抗网络
机器学习
2016-12-30 v2 机器学习
摘要
从不同模态中获取共同表示非常重要，因为在分类问题中它们可以相互替换。例如，我们可以在共同表示上基于图像特征训练分类器，并将其应用于该表示中文本特征的测试。现有多模态表示学习方法主要旨在从成对样本中提取丰富信息，并通过对应标签训练分类器；然而，同时收集成对样本及其标签需要高昂的人工成本。独立处理无标签的成对模态样本和有标签的单模态数据，比处理有标签的多模态数据容易得多。为了在这种情况下获得共同表示，我们提出使学习表示中不同模态的分布相似，即模态不变表示。具体而言，我们提出了一种用于模态不变表示学习的新颖算法，名为深度模态不变对抗网络（DeMIAN），它利用了领域自适应（DA）的思想。使用DeMIAN学习到的模态不变表示，我们取得了优于SOTA方法的分类准确率，尤其是在一些零样本学习的基准数据集上。
引用
@article{arxiv.1612.07976,
title = {DeMIAN: Deep Modality Invariant Adversarial Network},
author = {Kuniaki Saito and Yusuke Mukuta and Yoshitaka Ushiku and Tatsuya Harada},
journal= {arXiv preprint arXiv:1612.07976},
year = {2016}
}