一种遥感中新颖的自监督跨模态图像检索方法
计算机视觉与模式识别
2023-01-24 v2
摘要
由于多模态遥感（RS）图像档案的可用性，最重要的研究课题之一是开发跨模态 RS 图像检索（CM-RSIR）方法，以在不同模态间检索语义相似图像。现有 CM-RSIR 方法需要大量高质量标注训练图像。在业务场景中收集足够数量的可靠标注图像耗时、复杂且昂贵，并会显著影响 CM-RSIR 的最终精度。本文提出一种新颖的自监督 CM-RSIR 方法，旨在：i）以自监督方式建模不同模态间的互信息；ii）保持模态特定特征空间的分布彼此相似；iii）在无需任何标注训练图像的情况下定义各模态内最相似图像。为此，我们提出一种包含三个损失函数的新颖目标，可同时：i）最大化不同模态的互信息以保留模态间相似性；ii）最小化多模态图像元组的角距离以消除模态间差异；iii）提升各模态内最相似图像的余弦相似度以刻画模态内相似性。实验结果表明所提方法相较最优方法的有效性。所提方法的代码公开于 https://git.tu-berlin.de/rsim/SS-CM-RSIR。
引用
@article{arxiv.2202.11429,
title = {A Novel Self-Supervised Cross-Modal Image Retrieval Method In Remote Sensing},
author = {Gencer Sumbul and Markus Müller and Begüm Demir},
journal= {arXiv preprint arXiv:2202.11429},
year = {2023}
}
备注
Accepted at IEEE International Conference on Image Processing (ICIP) 2022. Our code is available at https://git.tu-berlin.de/rsim/SS-CM-RSIR