无监督生成对抗跨模态哈希
计算机视觉与模式识别
2017-12-04 v1
摘要
跨模态哈希旨在将异构多媒体数据映射到一个共同的汉明空间，从而实现跨不同模态的快速灵活检索。无监督跨模态哈希比有监督方法更灵活且适用面广，因为不涉及密集的标注工作。然而，现有无监督方法通过保持模态间与模态内相关性来学习哈希函数，却忽略了不同模态间潜在的流形结构，而该结构对于捕获跨模态检索中有意义的近邻极为有用。为解决上述问题，本文提出一种无监督生成对抗跨模态哈希方法(UGACH)，充分利用GAN在无监督表示学习上的能力来挖掘跨模态数据的潜在流形结构。主要贡献可总结如下：(1) 我们提出一种生成对抗网络以无监督方式建模跨模态哈希。在所提UGACH中，给定一种模态的数据，生成模型试图拟合流形结构上的分布，并选取另一模态的有信息量数据来挑战判别模型。判别模型学习区分生成数据与从相关图采样得到的真实正样本数据，以获得更好的检索精度。这两个模型以对抗方式训练以相互提升并促进哈希函数学习。(2) 我们提出一种基于相关图的方法以捕获跨模态潜在的流形结构，使得处于同一流形但不同模态的数据具有更小的汉明距离并提升检索精度。与6种最先进方法对比的大量实验验证了我们所提方法的有效性。
引用
@article{arxiv.1712.00358,
title = {Unsupervised Generative Adversarial Cross-modal Hashing},
author = {Jian Zhang and Yuxin Peng and Mingkuan Yuan},
journal= {arXiv preprint arXiv:1712.00358},
year = {2017}
}
备注
8 pages, accepted by 32th AAAI Conference on Artificial Intelligence (AAAI), 2018