深度多模态数据分析综述：协作、对抗与融合

随着网络技术的发展，多模态或多视图数据已成为大数据的主流，其中每个模态/视图编码数据对象的个体属性。不同模态通常互为补充。这一事实促使大量研究关注融合多模态特征空间以全面刻画数据对象。现有多数先进方法聚焦于如何融合多模态空间的能量或信息，以超越单一模态的对应方法并给出更优性能。近来，深度神经网络已展现出强大架构，能良好捕捉高维多媒体数据的非线性分布，对多模态数据亦自然如此。大量实证研究证明了其得益于深度多模态方法的优势，该方法可从多模态深度特征空间层面深化融合。本文对从浅层到深层的多模态数据分析领域现有先进方法给出详尽概览。贯穿本综述，我们进一步指出该领域的关键组成部分在于多模态空间上的协作、对抗竞争与融合。最后，我们就该领域若干未来方向分享见解。