视觉语言模型能否通过交互学习直观物理？
机器学习
2026-02-06 v1
摘要
预训练的视觉语言模型对物理世界的直观理解较差。近期研究表明，监督式微调可提升模型在简单物理任务上的性能，但微调后的模型似乎未能学习出可推广的鲁棒物理规则。基于认知科学的研究，我们假设模型需要与环境交互以正确学习其物理动力学。我们训练的模型通过与环境交互学习，在提升任务内性能方面取得进展，但未能产生具有可推广性的物理直觉。我们发现，在一个任务上训练的模型对相关任务无法可靠推广，即使这些任务共享视觉统计特性和物理原理，无论模型是否通过交互训练。
引用
@article{arxiv.2602.06033,
title = {Can vision language models learn intuitive physics from interaction?},
author = {Luca M. Schulze Buschoff and Konstantinos Voudouris and Can Demircan and Eric Schulz},
journal= {arXiv preprint arXiv:2602.06033},
year = {2026}
}