PhysNote：面向可演化物理推理的自我知识笔记
人工智能
2026-04-28 v1
摘要
视觉-语言模型（VLMs）在 textbook 风格的物理问题上表现出色，但在需要跨帧时间一致性和因果推理的动态真实场景中常常失败。我们识别出这些失败的两个根本挑战：（1）时空身份漂移，物体在连续帧之间丢失其物理身份，导致因果链条中断；（2）推理洞见的易失性，模型偶尔会产生正确的物理推理，却从未将其整合为可复用的知识。为此，我们提出PhysNote，一个通过自生成"知识笔记"（Knowledge Notes）使VLMs 外部化并细化物理知识的智能体框架。PhysNote 通过时空规范化（spatio-temporal canonicalization）稳定动态感知，组织自生成洞见的层次化知识库，并驱动迭代推理循环，在视觉证据上校准假设后再整合已验证的知识。在 PhysBench 上的实验表明，PhysNote 实现了56.68%的整体准确率，较最佳多智能体基线提升4.96%，在所有四个物理推理领域均取得持续性提升。
引用
@article{arxiv.2604.24443,
title = {PhysNote: Self-Knowledge Notes for Evolvable Physical Reasoning in Vision-Language Model},
author = {Sinin Zhang and Yunfei Xie and Yuxuan Cheng and Haoyu Zhang and Tong Zhang},
journal= {arXiv preprint arXiv:2604.24443},
year = {2026}
}
备注
11 pages. Accepted by ICLR 2026 Workshop ES-Reasoning