面向遥感图像拷贝-move 理解的挑战性数据集与多模态门控混合专家模型
多媒体
2025-06-27 v3
摘要
遥感拷贝-move 问答 (RSCMQA) 任务旨在解释复杂的篡改情景并推断对象之间的关系。当前可公开获取的数据集通常使用随机生成的篡改图像，这些图像缺乏空间逻辑，无法满足防御安全和土地资源监测的实际需求。为此，我们提出了一个高质量的人工标注的 RSCMQA 数据集 Real-RSCM，提供了更真实的评估指标，用于识别和理解遥感图像的篡改。Real-RSCM 数据集中的篡改图像细微、真实且具有挑战性，对模型的判别能力提出了显著的难度。为克服这些挑战，我们引入了一种多模态门控混合专家模型 (CM-MMoE)，通过多层次视觉语义和文本联合建模，引导多专家模型辨识图像中的篡改信息。大量实验表明，CM-MMoE 为 RSCMQA 任务提供了比通用 VQA 和 CMQA 模型更强的基准。我们的数据集和代码已公开于 https://github.com/shenyedepisa/CM-MMoE。
关键词
引用
@article{arxiv.2503.18104,
title = {Challenging Dataset and Multi-modal Gated Mixture of Experts Model for Remote Sensing Copy-Move Forgery Understanding},
author = {Ze Zhang and Enyuan Zhao and Yi Jiang and Jie Nie and Xinyue Liang},
journal= {arXiv preprint arXiv:2503.18104},
year = {2025}
}
备注
6 pages, 6 figures