深度匹配自编码器

越来越多的现实任务涉及多模态或多视图数据。这促使许多有效算法被开发用于学习公共潜在空间以关联多个域。然而，大多数现有跨视图学习算法假设训练时可获得成对数据。其适用性因此受限，因为成对数据假设在实践中常被违背：许多任务仅拥有少量带配对标注的数据，甚至完全没有成对数据。本文引入深度匹配自编码器（DMAE），其从未配对多模态数据中学习公共潜在空间与配对关系。具体而言，我们将其表述为跨域表示学习与对象匹配问题。我们同时优化表示学习自编码器的参数与未配对多模态数据的配对。该框架优雅地涵盖了从全监督、半监督到无监督（无成对数据）多模态学习的完整范畴。我们在图像描述生成以及一项由我们的方法独有实现的新任务——无监督分类器学习中展示了有前景的结果。