HiSem：面向遥感图像变化描述的层次化语义解�合
计算机视觉与模式识别
2026-05-15 v1
摘要
遥感图像变化描述 (RSICC) 旨在实现对双时相图像之间真实发生变化的高层次语义理解。尽管已有研究取得了显著进展，但现有方法受限于一个共享的建模假设：变化后和未变化的图像对在统一的建模策略下处理，这种假设在本质上导致了语义粒度不同的图像对被统一处理。这种建模不一致导致粗粒度变化存在判断与细粒度语义理解之间的语义缠结。为解决上述限制，我们提出一种新颖的层次化语义解缔网络 (HiSem)，通过显式解缔不同粒度的语义表示来实现目标。具体而言，我们首先引入双向差分注意力调制 (BDAM) 模块，该模块利用差异感知注意力机制增强跨时相互动，从而放大真实变化信号并抑制无关变异。基于此，我们设计了层次化自适应语义解缔 (HASD) 模块，在两个层次上实现自适应路由：粗粒度图像级路由机制区分变化后和未变化的图像对，而细粒度 token 级混合专家 (Mixture-of-Experts, MoE) 模块为变化样本建模其样本差异和异构的变化语义。对两个基准数据集上的大量实验表明，HiSem 在所有指标上均优于先前方法，在 WHU-CDC 数据集上 BLEU-4 提升显著，提升幅度达 7.52%。更重要的是，我们的方法为 RSICC 提供了结构化的视角，通过显式对齐模型设计与双时相场景内在语义异质性。代码将在 https://github.com/Man-Wang-star/HiSem 公开。
引用
@article{arxiv.2605.15024,
title = {HiSem: Hierarchical Semantic Disentangling for Remote Sensing Image Change Captioning},
author = {Man Wang and Chenyang Liu and Wenjun Li and Feng Ni and Bing Jia and Baoqi Huang and Riting Xia and Zhenwei Shi},
journal= {arXiv preprint arXiv:2605.15024},
year = {2026}
}