RSHallu：面向遥感多模态大语言模型的双模式幻觉评估与领域定制化缓解
计算机视觉与模式识别
2026-02-12 v1 人工智能
摘要
多模态大语言模型（MLLMs）在遥感领域日益普及，已在遥感视觉 grounding（RSVG）、遥感视觉问答（RSVQA）和多模态对话等任务中显示出强性能。然而，幻觉现象——即与输入遥感图像不一致的响应——严重阻碍其在高风险场景（如应急管理和农业监控）的部署，并在遥感领域仍未得到充分探讨。本文提出RSHallu，包含三个核心贡献：（1）构建遥感导向的幻觉正式分类体系，引入图像级幻觉以捕捉超越对象级错误（如模式、分辨率和场景级语义）的遥感特定性不一致；（2）构建幻觉基准RSHalluEval（2,023个问答对），支持高精度云端审计与低成本可复现本地检查，后者通过在RSHalluCheck数据集（15,396个问答对）上微调的紧凑检查器实现；（3）引入面向训练的领域定制数据集RSHalluShield（30k个问答对），用于训练友好型缓解，并提出训练-free 插件式策略，包括解码时logit校正和遥感感知引导。针对代表性遥感-MLLM，本方法在统一协议下使幻觉-free 率提升最高可达21.63个百分点，同时保持在下游遥感任务（RSVQA/RSVG）的竞争性能。代码和数据集将公开释放。
引用
@article{arxiv.2602.10799,
title = {RSHallu: Dual-Mode Hallucination Evaluation for Remote-Sensing Multimodal Large Language Models with Domain-Tailored Mitigation},
author = {Zihui Zhou and Yong Feng and Yanying Chen and Guofan Duan and Zhenxi Song and Mingliang Zhou and Weijia Jia},
journal= {arXiv preprint arXiv:2602.10799},
year = {2026}
}