SCH-GAN：基于生成对抗网络的半监督跨模态哈希
计算机视觉与模式识别
2018-02-08 v1
摘要
跨模态哈希旨在将异构多媒体数据映射到共同的汉明空间，从而实现跨不同模态的快速灵活检索。有监督的跨模态哈希方法通过引入语义侧信息已取得显著进展。然而，它们主要有两点局限：(1) 严重依赖大规模有标签跨模态训练数据，这类数据标注费力且难以获取。(2) 忽略跨不同模态的大量无标签数据中所包含的丰富信息，尤其是易被错误检索的边界样本，其有助于建模相关性。为解决这些问题，本文提出一种新颖的基于生成对抗网络(Generative Adversarial Network, GAN)的半监督跨模态哈希方法(SCH-GAN)。我们旨在利用 GAN 对数据分布建模的能力，以对抗方式促进跨模态哈希学习。主要贡献可总结如下：(1) 我们提出了一种用于跨模态哈希的新颖生成对抗网络。在所提 SCH-GAN 中，生成模型在给定另一模态查询时，试图从无标签数据中筛选该模态的边界样本；而判别模型试图区分所筛选样本与查询的真阳性样本。这两个模型进行极小极大博弈，从而使生成模型能提升判别模型的哈希性能。(2) 我们提出一种基于强化学习的算法来驱动所提 SCH-GAN 的训练。生成模型以判别模型预测的相关性得分作为奖励，并试图筛选靠近边界的样本，通过最大化正负数据间间隔来促进判别模型。在 3 个广泛使用的数据集上的实验验证了所提方法的有效性。
引用
@article{arxiv.1802.02488,
title = {SCH-GAN: Semi-supervised Cross-modal Hashing by Generative Adversarial Network},
author = {Jian Zhang and Yuxin Peng and Mingkuan Yuan},
journal= {arXiv preprint arXiv:1802.02488},
year = {2018}
}
备注
12 pages, submitted to IEEE Transactions on Cybernetics