中文

流等价性世界模型:用于部分观测动态环境的记忆

机器学习 2026-01-06 v1 人工智能 计算机视觉与模式识别

摘要

具身系统经历的世界是'众多流动的交响曲':许多连续的感官输入流与自身运动交织,伴随外部物体的动力学。在这些流中遵循光滑、时参数化的对称性,这些对称性通过精确结构化的代数相互作用;然而,大多数神经网络世界模型忽略了这种结构,仅凭数据反复学习相同的变换。在本工作中,我们提出'流等价性世界模型' (Flow Equivariant World Models),将自身运动和外部物体运动统一为一参数李群'流动'。我们利用这种统一性,实现对这些变换的群等价性,从而在数百个时间步上提供稳定的潜在世界表示。在2D和3D部分观测视频世界建模基准测试中,我们展示了Flow等价性世界模型在各类基于扩散和记忆增强的 state-of-the-art 世界建模架构中显著超越,尤其在代理当前视野之外存在可预测世界动力学时效果更为突出。我们表明,流等价性在长期 rollout 中尤其有益,能够远超训练时段进行推理。通过对内外部运动进行结构化世界模型表示,流等价性为数据高效、受称对称性引导的具身智能指明了可扩展的路径。项目链接:https://flowequivariantworldmodels.github.io。

关键词

引用

@article{arxiv.2601.01075,
  title  = {Flow Equivariant World Models: Memory for Partially Observed Dynamic Environments},
  author = {Hansen Jin Lillemark and Benhao Huang and Fangneng Zhan and Yilun Du and Thomas Anderson Keller},
  journal= {arXiv preprint arXiv:2601.01075},
  year   = {2026}
}

备注

11 main text pages, 10 figures