IV-Bench：面向多模态大语言模型的图像导向视频感知与推理基准
计算机视觉与模式识别
2025-04-23 v1 计算与语言
摘要
现有的多模态大语言模型 (MLLM) 评估框架主要聚焦于图像推理或通用视频理解任务，大幅忽视了图像上下文在视频理解中的重要作用。为弥合这一差距，我们提出 IV-Bench，首个综合性基准，用于评估图像导向视频感知与推理。IV-Bench 包含 967 个视频，配以 2,585 组细致标注的图像-文本查询，覆盖 13 个任务（7 个感知任务和 6 个推理任务）及 5 个代表性类别。对当前领先的开源模型（如 InternVL2.5、Qwen2.5-VL）和闭源模型（如 GPT-4o、Gemini2-Flash 和 Gemini2-Pro）进行广泛评估，显示当前模型在图像导向视频感知与推理方面表现显著不足，最多仅达到 28.9% 的准确率。进一步分析揭示了影响模型在 IV-Bench 上表现的关键因素，包括推理模式、帧数和分辨率。此外，通过一种简单的数据合成方法，我们表明 IV-Bench 的挑战远不止是训练过程中数据格式的对齐问题。这些发现为未来研究提供了宝贵的见解。我们的代码和数据已发布于 https://github.com/multimodal-art-projection/IV-Bench。
引用
@article{arxiv.2504.15415,
title = {IV-Bench: A Benchmark for Image-Grounded Video Perception and Reasoning in Multimodal LLMs},
author = {David Ma and Yuanxing Zhang and Jincheng Ren and Jarvis Guo and Yifan Yao and Zhenlin Wei and Zhenzhu Yang and Zhongyuan Peng and Boyu Feng and Jun Ma and Xiao Gu and Zhoufutu Wen and King Zhu and Yancheng He and Meng Cao and Shiwen Ni and Jiaheng Liu and Wenhao Huang and Ge Zhang and Xiaojie Jin},
journal= {arXiv preprint arXiv:2504.15415},
year = {2025}
}