CoopHash：基于变分 MCMC 教学的监督图像哈希中多用途描述符与对比对生成器的协同学习
计算机视觉与模式识别
2024-06-13 v4 信息检索
机器学习
摘要
在图像哈希领域，利用监督信息可带来更优的检索性能，但在缺乏足够标注数据时性能会显著下降。一种提升性能的有效方案是采用生成模型（如生成对抗网络（GAN））在图像哈希模型中生成合成数据。然而，基于 GAN 的方法难以训练，阻碍了哈希方法联合训练生成模型与哈希函数。该局限导致检索性能次优。为克服此局限，我们提出一种新颖框架——基于能量模型协同学习的生成式协同哈希网络。该框架通过两个组件联合学习强大的数据生成表征与鲁棒的哈希函数：自顶向下的对比对生成器合成对比图像，以及自底向上的多用途描述符从概率密度、哈希码、潜码和类别等多个视角同时表征图像。这两个组件通过一种新颖的基于似然的协同学习方案联合学习。我们在多个真实数据集上开展实验，结果表明所提方法优于对比的监督哈希方法，相较当前最先进的监督哈希方法取得高达 10% 的相对提升，并在分布外检索中表现出明显更优的性能。
引用
@article{arxiv.2210.04288,
title = {CoopHash: Cooperative Learning of Multipurpose Descriptor and Contrastive Pair Generator via Variational MCMC Teaching for Supervised Image Hashing},
author = {Khoa D. Doan and Jianwen Xie and Yaxuan Zhu and Yang Zhao and Ping Li},
journal= {arXiv preprint arXiv:2210.04288},
year = {2024}
}