一种对遥感中噪声训练图文对应关系鲁棒的无监督跨模态哈希方法
计算机视觉与模式识别
2022-03-01 v1
摘要
准确且可扩展的跨模态图文检索方法（即用一个模态的查询（如文本）匹配另一模态的归档条目（如遥感图像））在遥感（RS）领域引起了极大关注。现有大多数方法假设存在一个具有精确匹配图文对的可靠多模态训练集。然而，这一假设未必总成立，因为多模态训练集可能包含噪声对（即与训练图像关联的文本描述/字幕可能存在噪声），从而扭曲检索方法的学习过程。为解决该问题，我们提出一种对噪声图文对应关系鲁棒的新型无监督跨模态哈希方法（CHNR）。CHNR由三个模块组成：1）特征提取模块，提取图文对的特征表示；2）噪声检测模块，检测潜在的噪声对应关系；3）哈希模块，生成跨模态二进制哈希码。所提CHNR包含两个训练阶段：i）元学习阶段，使用一小部分干净（即可靠）数据以对抗方式训练噪声检测模块；ii）主训练阶段，利用训练好的噪声检测模块识别噪声对应关系，同时在含噪声的多模态训练集上训练哈希模块。实验结果表明，所提CHNR优于最先进（SOTA）方法。我们的代码公开于 https://git.tu-berlin.de/rsim/chnr
引用
@article{arxiv.2202.13117,
title = {An Unsupervised Cross-Modal Hashing Method Robust to Noisy Training Image-Text Correspondences in Remote Sensing},
author = {Georgii Mikriukov and Mahdyar Ravanbakhsh and Begüm Demir},
journal= {arXiv preprint arXiv:2202.13117},
year = {2022}
}
备注
https://git.tu-berlin.de/rsim/chnr