CogRail：面向智能铁路运输系统的视觉语言模型认知入侵感知基准测试
计算机视觉与模式识别
2026-01-15 v1 人工智能
摘要
对潜在入侵目标的准确、早期感知对于确保铁路运输系统的安全至关重要。然而，现有大多数系统仅局限于固定视觉范围内的目标分类，并应用基于规则的启发式方法来判断入侵状态，常常忽略了那些构成潜在入侵风险的目标。预测此类风险需要对感兴趣对象（OOI）的空间背景和时间动态进行认知，这对传统视觉模型构成了挑战。为促进深度入侵感知，我们引入了一个新颖的基准测试 CogRail，它将精心整理的开源数据集与认知驱动的问答标注相结合，以支持时空推理与预测。在此基准测试基础上，我们使用多模态提示对当前最先进的视觉语言模型（VLMs）进行了系统性评估，以识别其在该领域的优势与局限。此外，我们对 VLMs 进行了微调以获得更好性能，并提出了一个联合微调框架，该框架整合了位置感知、运动预测和威胁分析三项核心任务，有助于将通用基础模型有效适配为专为认知入侵感知定制的专用模型。大量实验表明，当前的大规模多模态模型难以应对认知入侵感知任务所需的复杂时空推理，凸显了现有基础模型在这一安全关键领域的局限性。相比之下，我们提出的联合微调框架通过实现针对领域特定推理需求的目标适配，显著提升了模型性能，突显了结构化多任务学习在提高准确性和可解释性方面的优势。代码将发布于 https://github.com/Hub-Tian/CogRail。
引用
@article{arxiv.2601.09613,
title = {CogRail: Benchmarking VLMs in Cognitive Intrusion Perception for Intelligent Railway Transportation Systems},
author = {Yonglin Tian and Qiyao Zhang and Wei Xu and Yutong Wang and Yihao Wu and Xinyi Li and Xingyuan Dai and Hui Zhang and Zhiyong Cui and Baoqing Guo and Zujun Yu and Yisheng Lv},
journal= {arXiv preprint arXiv:2601.09613},
year = {2026}
}