SAMChat：引入链式思维推理与GRPO的小规模遥感多模态小语言模型
计算机视觉与模式识别
2025-12-01 v2
摘要
近期在理解和生成文本-图像内容方面展现了惊人能力的多模态大型语言模型（MLLM），但其在需要资源高效和领域特定适应的专业领域——尤其是小规模遥感应用——方面仍有限。本文引入一种轻量级多模态语言模型SAMChat，专为分析偏远地区的遥感图像（包括挑战性的导弹发射场）而设计。通过专家审核数百张航空图像构建了新数据集SAMData，并通过详细描述突出细微军事设施。对2B参数的开源MLLM进行监督式微调，集成链式思维（CoT）推理标注，实现更准确可解释的解释。此外，利用Group Relative Policy Optimization（GRPO）增强模型检测关键领域特定线索（如防御布局和关键军事结构）的能力，同时最大限度减少平民场景的误报。通过实证评估，SAMChat在开放式描述和分类指标上显著优于更大且通用的多模态模型和现有的遥感适应方法。在新提出的SAMData基准上，实现了80%以上的召回率和98%的精确率，凸显了针对性微调和强化学习在专业现实应用中的强大效能。
引用
@article{arxiv.2505.07984,
title = {SAMChat: Introducing Chain of Thought Reasoning and GRPO to a Multimodal Small Language Model for Small Scale Remote Sensing},
author = {Aybora Koksal and A. Aydin Alatan},
journal= {arXiv preprint arXiv:2505.07984},
year = {2025}
}
备注
Accepted to Journal of Selected Topics in Applied Earth Observations and Remote Sensing (JSTARS) Special Issue on Foundation and Large Vision Models for Remote Sensing. Code and dataset are available at https://github.com/aybora/SAMChat