DeformMaster：用于视频中可变形物体的交互式物理-神经世界模型
计算机视觉与模式识别
2026-05-21 v2 机器人学
摘要
可变形物体的世界模型应恢复几何与外观信息，同时恢复底层物理动力学、交互 grounding 与材料行为。从真实视频中学习此类模型具有挑战性，因为可变形的线性、平面和体积物体在高维变形、噪声交互和复杂材料响应下演化。该模型必须从视觉观测中推断物理状态，在新交互下进行推演，并以高视觉保真度渲染结果动力学。我们提出 DeformMaster，一个从视频派生的交互式物理-神经世界模型，将真实交互视频转化为可交互的可变形物体模型，纳入统一的动力学与外观框架。DeformMaster 在保持结构化物理 rollout 的同时，使用神经残差补偿未建模的效应，将稀疏手部运动作为分布式顺应式执行器用于手部-continuum 交互，代表材料响应为具有空间变化的本构专家，并驱动预测物理演化产生的高保真 4D 外观。实验在真实世界可变形物体序列上表明，DeformMaster 能够推演未来动力学并渲染动态外观，超越 SOTA baseline，同时支持新动作 rollout、材料参数变动和动态新视角合成。项目页面：https://can-lee.github.io/deformmaster-web/
引用
@article{arxiv.2605.09586,
title = {DeformMaster: An Interactive Physics-Neural World Model for Deformable Objects from Videos},
author = {Can Li and Zhoujian Li and Ren Li and Jie Gu and Lei Lei and Jingmin Chen and Lei Sun},
journal= {arXiv preprint arXiv:2605.09586},
year = {2026}
}
备注
Project page: https://can-lee.github.io/deformmaster-web/