MV-CC：用于遥感变化描述的掩码增强视频模型
计算机视觉与模式识别
2024-11-01 v1
摘要
遥感图像变化描述（RSICC）旨在为双时相遥感图像提供自然语言描述。由于变化描述（CC）任务同时需要空间和时间特征，以往的工作遵循编码器-融合-解码器架构。它们使用图像编码器提取空间特征，并使用融合模块整合空间特征并提取时间特征，这导致融合模块的手工设计日益复杂。在本文中，我们引入了一种无需设计融合模块的、基于视频模型的新范式，并提出了用于变化描述的掩码增强视频模型（MV-CC）。具体来说，我们使用现成的视频编码器同时提取双时相图像的时间和空间特征。此外，CC 中的变化类型是根据特定任务需求设定的，为了使模型能够更好地关注感兴趣区域，我们采用从变化检测（CD）方法获得的掩码来显式地引导 CC 模型。实验结果表明，与其他最先进的 RSICC 方法相比，我们提出的方法可以获得更好的性能。代码可在 https://github.com/liuruixun/MV-CC 获取。
引用
@article{arxiv.2410.23946,
title = {MV-CC: Mask Enhanced Video Model for Remote Sensing Change Caption},
author = {Ruixun Liu and Kaiyu Li and Jiayi Song and Dongwei Sun and Xiangyong Cao},
journal= {arXiv preprint arXiv:2410.23946},
year = {2024}
}