探索掩码自编码器用于遥感中的传感器无关图像检索
图像与视频处理
2024-12-13 v3 计算机视觉与模式识别
摘要
通过掩码自编码器（MAEs）进行的自监督学习最近在遥感（RS）图像表示学习领域引起了极大关注，因此对于从不断增长的 RS 图像档案中进行基于内容的图像检索（CBIR）具有巨大潜力。然而，现有的基于 MAE 的 RS 中 CBIR 研究假设所考虑的 RS 图像由单一图像传感器获取，因此仅适用于单模态 CBIR 问题。MAEs 在跨传感器 CBIR（旨在跨不同图像模态搜索语义相似的图像）中的有效性尚未被探索。在本文中，我们迈出了探索 MAEs 在 RS 中传感器无关 CBIR 有效性的第一步。为此，我们系统概述了在 CBIR 背景下，对原始 MAE 的可能调整，以在多传感器 RS 图像档案上利用掩码图像建模（记为跨传感器掩码自编码器 [CSMAEs]）。基于对原始 MAE 应用的不同调整，我们引入了不同的 CSMAE 模型。我们还对这些 CSMAE 模型进行了广泛的实验分析。我们最终推导出一个在 RS 中利用掩码图像建模解决单模态和跨模态 CBIR 问题的指南。本工作的代码可在 https://github.com/jakhac/CSMAE 公开获取。
引用
@article{arxiv.2401.07782,
title = {Exploring Masked Autoencoders for Sensor-Agnostic Image Retrieval in Remote Sensing},
author = {Jakob Hackstein and Gencer Sumbul and Kai Norman Clasen and Begüm Demir},
journal= {arXiv preprint arXiv:2401.07782},
year = {2024}
}
备注
Accepted at the IEEE Transactions on Geoscience and Remote Sensing. Our code is available at https://github.com/jakhac/CSMAE