LuoJiaHOG：面向遥感图像-文本检索的层次化地理感知图像描述数据集
计算机视觉与模式识别
2024-03-19 v1
摘要
图像-文本检索（ITR）在 various remote sensing（遥感）应用中发挥着重要作用。然而，创建包含视觉和语言模态的 ITR 数据集不仅需要大范围的地理空间采样区域，还需要多样的类别和详尽的描述。为此，我们引入了一个名为 LuojiaHOG 的图像描述数据集，其具备地理感知、标签可扩展性和详尽描述的特征。LuojiaHOG 采用分层空间采样、可扩展的分类体系（符合开放地理信息协会标准）以及详尽的描述生成。此外，我们提出了基于 CLIP 的图像语义增强网络（CISEN），以提升复杂的 ITR。CISEN 包含两个组件，即双路径知识传递和渐进式跨模态特征融合。对 LuojiaHOG 的全面统计数据揭示了其在采样多样性、标签数量和描述细粒度方面的丰富性。在 LuojiaHOG 上的评估覆盖了 ALBEF、ALIGN、CLIP、FILIP、Wukong、GeoRSCLIP 和 CISEN 等多个最新 ITR 模型。我们使用二、三级标签评估这些视觉-语言模型，通过适配器调优，CISEN 在三级 ITR 任务中取得最高分数，分别为88.47%和87.28%的 WMAP@5。特别是，CISEN 在 WMAP@5 方面相对于其基线提高了约1.3%和0.9%。这些发现凸显了 CISEN 在图像和文本之间准确检索相关信息方面的优势。LuojiaHOG 和 CISEN 可为未来遥感图像-文本对齐研究以及广泛的视觉-语言应用提供基础资源。
引用
@article{arxiv.2403.10887,
title = {LuoJiaHOG: A Hierarchy Oriented Geo-aware Image Caption Dataset for Remote Sensing Image-Text Retrival},
author = {Yuanxin Zhao and Mi Zhang and Bingnan Yang and Zhan Zhang and Jiaju Kang and Jianya Gong},
journal= {arXiv preprint arXiv:2403.10887},
year = {2024}
}