FAVOR-Bench：面向细粒度视频运动理解的综合基准
摘要
多模态大型语言模型 (MLLM) 在 video content understanding 中展现出惊人的能力，但在 fine-grained motion comprehension 方面仍存在挑战。为全面评估现有 MLLM 的 motion understanding 能力，我们引入 FAVOR-Bench，包含 1,776 个带有结构化手动注释的 various motions 视频。我们的基准包括 close-ended 和 open-ended 任务。对于 close-ended 评估，我们仔细设计了 8,184 个多选问答对，涵盖 six distinct sub-tasks。对于 open-ended 评估，我们开发了两种新方法：novel cost-efficient LLM-free 和 GPT-assisted caption assessment 方法，前者可增强 benchmarking 的可解释性和可重复性。针对 21 个 state-of-the-art MLLMs 进行大规模实验，揭示了其在理解和描述 video motions 中详细 temporal dynamics 方面的显著局限性。为缓解这一局限性，我们进一步构建 FAVOR-Train，包含 17,152 个带有 fine-grained motion 注释的视频。对 Qwen2.5-VL 在 FAVOR-Train 上进行 fine-tuning 的结果在 TVBench、MotionBench 和我们的 FAVOR-Bench 的 motion-related tasks 上均表现出一致性改进。全面的评估结果表明，所提出的 FAVOR-Bench 和 FAVOR-Train 为社区提供了宝贵的工具，以开发更强大的 video understanding 模型。项目页面: \href{https://favor-bench.github.io/}{https://favor-bench.github.io/}。
引用
@article{arxiv.2503.14935,
title = {FAVOR-Bench: A Comprehensive Benchmark for Fine-Grained Video Motion Understanding},
author = {Chongjun Tu and Lin Zhang and Pengtao Chen and Peng Ye and Xianfang Zeng and Wei Cheng and Gang Yu and Tao Chen},
journal= {arXiv preprint arXiv:2503.14935},
year = {2025}
}
备注
FAVOR-Bench project page: https://favor-bench.github.io/