MITS：面向智能交通监控的大规模多模态基准数据集
计算机视觉与模式识别
2025-09-15 v1 人工智能
摘要
通用领域的大型多模态模型（LMM）在 various image-text 任务中取得了显著进展。然而，由于缺乏专门的多模态数据集，其在智能交通监控（ITS）领域的性能仍受限。为填补这一空白，我们引入MITS（Multimodal Intelligent Traffic Surveillance），即首个专为ITS设计的大规模多模态基准数据集。MITS包含170,400个独立收集的真实世界ITS图像，来自交通监控摄像机，标注了8个主要类别和24个子类的ITS专用对象和事件，在多样环境条件下覆盖。此外，通过系统化的数据生成管道，我们生成高质量的图像标题和500万条遵循指令的视觉问答对，解决了五个关键ITS任务：对象和事件识别、对象计数、对象定位、背景分析和事件推理。为展示MITS的有效性，我们在该数据集上微调主流LMM，以开发ITS专用应用程序。实验结果表明，MITS显著提升了LMM在ITS应用中的性能，将LLaVA-1.5的性能从0.494提升至0.905（+83.2%），LLaVA-1.6从0.678提升至0.921（+35.8%），Qwen2-VL从0.584提升至0.926（+58.6%），Qwen2.5-VL从0.732提升至0.930（+27.0%）。我们以开源方式发布数据集、代码和模型，为推动ITS和LMM研究提供高价值资源。
引用
@article{arxiv.2509.09730,
title = {MITS: A Large-Scale Multimodal Benchmark Dataset for Intelligent Traffic Surveillance},
author = {Kaikai Zhao and Zhaoxiang Liu and Peng Wang and Xin Wang and Zhicheng Ma and Yajun Xu and Wenjing Zhang and Yibing Nan and Kai Wang and Shiguo Lian},
journal= {arXiv preprint arXiv:2509.09730},
year = {2025}
}
备注
accepted by Image and Vision Computing