从混乱中引导：来自故障游戏视频的物理世界理解
计算机视觉与模式识别
2026-02-12 v2
摘要
物理世界理解，包括物体动力学、材料特性和因果相互作用，仍是人工智能中的核心挑战。尽管最近的多模态大语言模型 (MLLM) 已展示出令人印象深刻的通用推理能力，但它们仍不足以实现人类对物理原理的理解。现有用于物理推理的数据集要么依赖真实世界视频，导致标注成本高，要么基于合成模拟，受限于现实性和多样性。本文提出了一种新范式，利用游戏视频中的故障现象，即违反预定义物理法则的视觉异常，作为物理世界理解的丰富且可扩展的监督来源。我们引入 PhysGame，一个包含 140,057 个以故障为中心的问答对的 meta 信息引导式指令微调数据集，覆盖五个物理领域和十六个细粒度类别。为确保数据准确性，我们设计了一种提示策略，利用游戏元数据如标题和描述来指导高质量 QA 生成。搭配 PhysGame，我们构建了 GameBench，一个由专家标注的包含 880 个故障识别游戏视频的基准测试，用于评估物理推理能力。广泛实验表明，PhysGame 在 Game2Real 可迁移性和 Game2General 可迁移性方面均显著提升了 Qwen2.5VL 在 PhysBench 上的物理推理性能提升了 2.5%，在 MVBench 上的 Game2General 可迁移性提升了 1.9%。此外，PhysGame 微调后的模型在 GameBench 上的表现提升了 3.7%，显示出在检测物理不合理性方面具有更强的鲁棒性。这些结果表明，从游戏异常中学习是推进多模态智能物理世界理解的可扩展且有效的方法。
引用
@article{arxiv.2601.16471,
title = {Order from Chaos: Physical World Understanding from Glitchy Gameplay Videos},
author = {Meng Cao and Haoran Tang and Haoze Zhao and Mingfei Han and Ruyang Liu and Qiang Sun and Xiaojun Chang and Ian Reid and Xiaodan Liang},
journal= {arXiv preprint arXiv:2601.16471},
year = {2026}
}
备注
Accepted by TMLR