UrbanCross：基于跨域适应的卫星图像-文本检索
计算机视觉与模式识别
2024-04-23 v1 人工智能
摘要
城市化挑战凸显了对于高效卫星图像-文本检索方法的必要性，以快速获取富含地理语义的特定信息以支持城市应用。然而，现有方法往往忽视了不同城市景观之间显著的领域差距，主要侧重于增强单一领域内的检索性能。为解决此问题，我们提出UrbanCross，这是一个新的跨域卫星图像-文本检索框架。UrbanCross利用来自三个国家的高质量跨域数据集丰富的地理标签，凸显领域的多样性。它采用大型多模态模型(LMM)进行文本细化，采用Segment Anything Model(SAM)进行视觉增强，实现图像、片段和文本之间的细粒度对齐，检索性能提升10%。此外，UrbanCross集成了基于自适应课程的源采样器和加权对抗性跨域微调模块，逐步增强跨不同领域的适应性。广泛的实验表明，UrbanCross在检索和适应新城市环境方面表现卓越，相较于缺乏领域适应机制的版本在各类场景下平均性能提升15%，有效弥合了领域差距。
引用
@article{arxiv.2404.14241,
title = {UrbanCross: Enhancing Satellite Image-Text Retrieval with Cross-Domain Adaptation},
author = {Siru Zhong and Xixuan Hao and Yibo Yan and Ying Zhang and Yangqiu Song and Yuxuan Liang},
journal= {arXiv preprint arXiv:2404.14241},
year = {2024}
}