PhysGame：揭示游戏视频中的物理常识违规
计算机视觉与模式识别
2024-12-03 v1
摘要
最近的视频基准大型语言模型（Video LLM）的进展，见证了各种能力来推理和解释动态视觉内容的出现。其中，游戏视频作为独特的数据源，常常包含违反物理常识的故障。这一特征使其成为评估视频LLM在物理常识理解方面尚未得到充分探索的能力的有效基准。本文提出PhysGame作为评估游戏视频中物理常识违规的开创性基准。PhysGame包含880个视频，涉及四个基本领域（即力学、运动学、光学和材料属性）以及12种不同的物理常识。通过广泛评估各种最先进的视频LLM，我们的发现表明，当前的开源视频LLM的性能显著落后于专有版本。为弥合这一差距，我们策划了包含140,057个问答对的指令调优数据集PhysInstruct，以促进物理常识学习。此外，我们还提出了包含34,358个训练对的偏好优化数据集PhysDPO，其中不受偏好的响应是基于误导性标题（即元信息篡改）、更少的帧（即时间篡改）和较低的空间分辨率（即空间篡改）生成的。基于该数据集套件，我们提出了PhysVLM，即一个物理知识增强的视频LLM。对PhysGame上的大量实验以及一般视频理解基准的实验表明，PhysVLM在该领域实现了最先进的性能。
引用
@article{arxiv.2412.01800,
title = {PhysGame: Uncovering Physical Commonsense Violations in Gameplay Videos},
author = {Meng Cao and Haoran Tang and Haoze Zhao and Hangyu Guo and Jiaheng Liu and Ge Zhang and Ruyang Liu and Qiang Sun and Ian Reid and Xiaodan Liang},
journal= {arXiv preprint arXiv:2412.01800},
year = {2024}
}