面向多标签遥感图像检索的信息性与代表性三元组选择
计算机视觉与模式识别
2021-11-10 v3 图像与视频处理
摘要
学习遥感(RS)图像之间的相似性构成了基于内容的 RS 图像检索(CBIR)的基础。近来,将图像语义相似性映射至嵌入(度量)空间中的深度度量学习方法在 RS 中颇受欢迎。学习度量空间的一种常用方法依赖于选择相对于称为锚点的参考图像相似(正样本)与不相似(负样本)的图像三元组。选择三元组是一项困难任务,尤其对于多标签 RS CBIR,其中每幅训练图像由多个类标签标注。为解决该问题,本文在针对多标签 RS CBIR 问题定义的深度神经网络(DNNs)框架下提出一种新颖的三元组采样方法。所提方法基于两个主要步骤选择一小部分最具代表性和信息性的三元组。第一步,利用迭代算法从当前小批量中选择在嵌入空间中彼此多样的锚点集合。第二步,通过基于新颖策略评估图像间的相关性、困难度与多样性,为每个锚点选择不同的正、负图像集合。在两个多标签基准档案上获得的实验结果表明,在 DNNs 背景下选择最具信息性和代表性的三元组可: i) 在不显著损失性能的情况下降低 DNNs 训练阶段的计算复杂度;以及 ii) 提高学习速度,因为信息性三元组可实现快速收敛。所提方法的代码公开于 https://git.tu-berlin.de/rsim/image-retrieval-from-triplets。
引用
@article{arxiv.2105.03647,
title = {Informative and Representative Triplet Selection for Multilabel Remote Sensing Image Retrieval},
author = {Gencer Sumbul and Mahdyar Ravanbakhsh and Begüm Demir},
journal= {arXiv preprint arXiv:2105.03647},
year = {2021}
}
备注
Accepted at the IEEE Transactions on Geoscience and Remote Sensing. Our code is available online at https://git.tu-berlin.de/rsim/image-retrieval-from-triplets