多模态互信息最大化：一种无监督深度跨模态哈希新方法
计算机视觉与模式识别
2021-12-14 v1
摘要
本文采用互信息（MI）最大化方法来解决用于高效跨模态检索的二进制哈希码无监督学习问题。我们提出了一种称为跨模态信息最大化哈希（CMIMH）的新方法。首先，为学习能够同时保留模态内与模态间相似性的信息性表示，我们利用近期在估计MI变分下界方面的进展，最大化二进制表示与输入特征之间以及不同模态二进制表示之间的MI。通过在假设二进制表示由多元伯努利分布建模下联合最大化这些MI，我们可以以 mini-batch 方式和梯度下降有效地学习能够同时保留模态内与模态间相似性的二进制表示。此外，我们发现通过为来自不同模态的同一实例学习相似二进制表示来缩小模态差距，可能导致信息量更少的表示。因此，在减小模态差距与丢失模态私有信息之间取得平衡，对跨模态检索任务十分重要。在标准基准数据集上的定量评估表明，所提方法持续优于其他最先进的跨模态检索方法。
引用
@article{arxiv.2112.06489,
title = {Multi-Modal Mutual Information Maximization: A Novel Approach for Unsupervised Deep Cross-Modal Hashing},
author = {Tuan Hoang and Thanh-Toan Do and Tam V. Nguyen and Ngai-Man Cheung},
journal= {arXiv preprint arXiv:2112.06489},
year = {2021}
}