基于 SAM 指导的遥感变化语义与运动变化区域矿业
计算机视觉与模式识别
2025-11-27 v1 人工智能
摘要
遥感变化标题是旨在用自然语言描述在两个不同时间捕获的遥感图像之间感兴趣内容发生变化的新兴且流行的研究任务。现有方法通常采用 CNN/Transformer 从给定图像中提取视觉表示，或纳入辅助任务以增强最终结果，但存在区域感知较弱和时序对齐有限的问题。为此，本文探索使用 SAM（Segment Anything Model）基础模型提取区域级别的表示并将感兴趣区域知识注入标题框架。具体而言，我们采用 CNN/Transformer 模型提取全局级别的视觉特征，利用 SAM 基础模型描绘语义和运动级别的变化区域，并利用特意构建的知识图谱提供感兴趣对象的信息。这些异构信息源随后通过跨注意力机制融合，Transformer 解码器用于生成观察到的变化的最终自然语言描述。大量实验结果表明，我们的方法在多个广泛使用的基准数据集上实现了最先进的性能。本文的代码将发布于 https://github.com/Event-AHU/SAM_ChangeCaptioning
关键词
引用
@article{arxiv.2511.21420,
title = {SAM Guided Semantic and Motion Changed Region Mining for Remote Sensing Change Captioning},
author = {Futian Wang and Mengqi Wang and Xiao Wang and Haowen Wang and Jin Tang},
journal= {arXiv preprint arXiv:2511.21420},
year = {2025}
}