MHTN：用于跨模态检索的模态对抗混合迁移网络

跨模态检索因在不同模态数据间进行检索而引起了广泛兴趣。然而，基于深度神经网络（DNN）的现有方法面临跨模态训练数据不足的挑战，这限制了训练效果并容易导致过拟合。迁移学习旨在缓解训练数据不足的问题，但它主要关注仅从大规模单模态源域数据集到单模态目标域的知识迁移。此类大规模单模态数据集也包含丰富的、可在不同模态间共享的模态无关语义知识。此外，大规模跨模态数据集的收集和标注非常耗费人力，因此充分利用单模态数据集中的知识以促进跨模态检索具有重要意义。本文提出了模态对抗混合迁移网络（MHTN），据我们所知，这是首个实现从单模态源域到跨模态目标域的知识迁移并学习跨模态共同表示的工作。它是一个端到端架构，包含两个子网络：(1) 模态共享知识迁移子网络，旨在通过星形网络结构将知识从源域的大规模单模态数据集联合迁移到目标域的所有模态，从而蒸馏出模态无关的补充知识以促进跨模态共同表示学习。(2) 模态对抗语义学习子网络，旨在在共同表示生成器和模态判别器之间构建对抗训练机制，使共同表示对语义具有判别性而对模态不具有判别性，以在迁移过程中增强跨模态语义一致性。在四个广泛使用的数据集上的综合实验表明了其有效性和通用性。