中文

FOLIAGE:通过无界表面演化迈向物理智能世界模型

计算机视觉与模式识别 2025-06-06 v2 人工智能

摘要

物理智能——从部分、多感官观测中预测并塑造世界——对下一代世界模型至关重要。我们提出 FOLIAGE,一种用于无界增生式表面生长的物理信息多模态世界模型。在其“动作-感知”循环中,统一的上下文编码器将图像、网格连通性和点云映射到共享的潜在状态。物理感知预测器以物理控制动作为条件,在时间上推进该潜在状态以与表面的目标潜在状态对齐,产生与评判头接口以实现下游目标的模态不可知生长嵌入(MAGE)。FOLIAGE 的增生图网络(AGN)通过年龄位置编码和能量门控消息传递捕获动态连通性。几何对应融合和跨块掩码增强了 MAGE 的表达能力,而分层池化平衡了全局上下文与局部动态。我们创建了 SURF-GARDEN,一个世界模型学习平台,包含反事实物理模拟器、多模态对应提取器和演化追踪,生成 7,200 个多样化的表面生长序列。SURF-BENCH 是我们的物理智能评估套件,评估六项核心任务——拓扑识别、逆向材料估计、生长阶段分类、潜在推演、跨模态检索和密集对应——以及四项压力测试——传感器丢失、零样本模态迁移、长时程预测和物理消融——以探测鲁棒性。FOLIAGE 优于专门的基线方法,同时在动态环境中保持鲁棒性,建立了一条基于世界模型的多模态物理智能新路径。

关键词

引用

@article{arxiv.2506.03173,
  title  = {FOLIAGE: Towards Physical Intelligence World Models Via Unbounded Surface Evolution},
  author = {Xiaoyi Liu and Hao Tang},
  journal= {arXiv preprint arXiv:2506.03173},
  year   = {2025}
}