IFShip：基于领域知识增强的可解释性细粒度船舶分类
计算与语言
2025-04-22 v4
摘要
当前的端到端解释方法主导着遥感细粒度船舶分类 (RS-FGSC) 任务。然而，推理过程仍不可解释，导致这些模型被批评为“黑箱”系统。为此，我们提出一种基于领域知识增强的链式思维 (CoT) 提示生成机制，用于半自动构建任务特定指令遵循数据集 TITANIC-FGS。通过在TITANIC-FGS上训练，我们将通用领域的视觉语言模型 (VLM) 适用于FGSC任务，得到名为IFShip的模型。基于IFShip，我们开发了一个FGSC视觉聊天机器人，将FGSC问题定义为逐步推理任务，并以自然语言传达推理过程。实验结果表明，IFShip在可解释性和分类准确率方面均优于最先进的FGSC算法。此外，与LLaVA和MiniGPT-4等VLM相比，IFShip在FGSC任务上表现出优势。当细粒度船舶类型可被人类识别时，IFShip提供准确的推理链；当不可被人类识别时，IFShip提供可解释的解释。我们的数据集已公开提供：https://github.com/lostwolves/IFShip。
引用
@article{arxiv.2408.06631,
title = {IFShip: Interpretable Fine-grained Ship Classification with Domain Knowledge-Enhanced Vision-Language Models},
author = {Mingning Guo and Mengwei Wu and Yuxiang Shen and Haifeng Li and Chao Tao},
journal= {arXiv preprint arXiv:2408.06631},
year = {2025}
}