适配 Segment Anything 模型用于高分辨率遥感影像变化检测
计算机视觉与模式识别
2024-02-23 v4
摘要
视觉基础模型（VFMs）如 Segment Anything Model（SAM）允许对视觉内容进行零样本或交互式分割，因此它们被迅速应用于多种视觉场景。然而，由于遥感（RS）影像特殊的成像特性，它们在许多遥感应用中的直接使用往往不尽如人意。在本工作中，我们旨在利用 VFMs 强大的视觉识别能力来改进高分辨率遥感影像（RSIs）的变化检测。我们采用高效 SAM 变体 FastSAM 的视觉编码器来提取 RS 场景中的视觉表征。为使 FastSAM 适配聚焦于 RS 场景中某些特定地物，我们提出一种卷积适配器来聚合面向任务的变化信息。此外，为利用 SAM 特征固有的语义表征，我们引入一个任务无关的语义学习分支来建模双时相 RSIs 中的语义潜变量。所得方法 SAMCD 相较于 SOTA 方法取得了更优精度，并展现出可与半监督 CD 方法媲美的样本高效学习能力。据我们所知，这是首个将 VFMs 适配用于高分辨率 RSIs 变化检测的工作。
引用
@article{arxiv.2309.01429,
title = {Adapting Segment Anything Model for Change Detection in HR Remote Sensing Images},
author = {Lei Ding and Kun Zhu and Daifeng Peng and Hao Tang and Kuiwu Yang and Lorenzo Bruzzone},
journal= {arXiv preprint arXiv:2309.01429},
year = {2024}
}