观点：学习直观物理可能需要超过视觉数据的学习
计算机视觉与模式识别
2025-12-09 v1 机器学习
摘要
人类擅长通过建立建立在对物理直观理解基础上的丰富内部模型来导航世界。尽管如此，尽管在大量互联网视频数据上进行训练，最先进的深度学习模型仍在直观物理基准测试中不及人类水平。本工作研究是否数据分布而非数据量是学习这些原则的关键。我们在 SAYCam 上预训练了一个视频联合嵌入预测架构 (V-JEPA) 模型，该数据集以发展论证的、从主体视角的视频数据部分捕捉三个孩子日常视觉经验。我们发现，训练于该数据集（仅代表用于训练 SOTA 模型的数据量的 0.01%）并不显著提升在 IntPhys2 基准测试上的性能。我们的结果表明，仅训练于发展论证的现实数据集对当前体系结构学习支持直观物理的表示并不足够。我们得出结论，仅通过变化视觉数据的量和分布可能不足以构建具备人类直观物理能力的系统。
引用
@article{arxiv.2512.06232,
title = {Opinion: Learning Intuitive Physics May Require More than Visual Data},
author = {Ellen Su and Solim Legris and Todd M. Gureckis and Mengye Ren},
journal= {arXiv preprint arXiv:2512.06232},
year = {2025}
}