RSBuilding：基于基础模型的通用遥感图像建筑提取与变化检测
计算机视觉与模式识别
2024-04-16 v2
摘要
建筑物的智能解释在城市规划与管理、宏观经济分析、人口动态等方面发挥着重要作用。遥感图像建筑解释主要涵盖建筑提取和变化检测。然而，当前方法常将这两个任务视为独立实体，无法利用共享知识。此外，遥感图像场景的复杂性和多样性也带来挑战，因为大多数算法设计用于模型单个小数据集，缺乏跨场景的泛化能力。本文提出了基于基础模型的综合遥感图像建筑理解模型，称为RSBuilding。RSBuilding旨在增强跨场景泛化和任务通用性。具体而言，我们基于基础模型的先验知识提取图像特征，并设计多级特征采样器以补充尺度信息。为统一任务表示并整合图像时空线索，我们引入带任务提示的跨注意力解码器。针对当前缺乏同时包含两个任务注释的数据集， 我们发展了联邦训练策略以便即使某些任务缺乏监督信息，模型也能平稳收敛，从而增强不同任务的互补性。本模型在最高达245,000张图像的数据集上训练，并在多个建筑提取和变化检测数据集上进行验证。实验结果表明，RSBuilding能够同时处理两个结构上差异大的任务，并表现出稳健的零样本泛化能力。
引用
@article{arxiv.2403.07564,
title = {RSBuilding: Towards General Remote Sensing Image Building Extraction and Change Detection with Foundation Model},
author = {Mingze Wang and Lili Su and Cilin Yan and Sheng Xu and Pengcheng Yuan and Xiaolong Jiang and Baochang Zhang},
journal= {arXiv preprint arXiv:2403.07564},
year = {2024}
}