NeuROK：生成式 4D 神经物体运动学
计算机视觉与模式识别
2026-05-29 v1 图形学
摘要
数据驱动的方法已彻底变革 3D 视觉，使 transformer 能够有效重建和生成静态 3D 对象。然而，生成模拟的 4D 动态——在各种物理条件下对静态物体进行真实时序变形——仍具有挑战性且往往方法不成熟，尽管这在构建完整的 3D 世界模型方面至关重要。大多数现有方法假设预定义的物理模型并使用系统辨识来估计参数，将这些方法限制于特定类别和小规模数据集。我们提出，这些限制可通过学习物体中心物理系统的数据驱动运动状态参数化来克服。具体而言，我们学习一个表示对象所有可能状态的潜在空间，以及一个将任意抽样潜在映射到合理变形形状的解码器。我们将这种参数化称为神经物体运动学（Neural Object Kinematics, NeuROK），并在精选的大规模 4D 数据集上学习一个基于 transformer 的编码器-解码器模型。该表述和所学模型显著简化了模拟动态的生成过程，因为我们只需在拉格朗日力学视角下考虑低维潜在空间内的动力学。我们在多样化的动态物体类型上展示了该神经仿真框架的有效性和通用性，显示其相较于先前方法具有明显优势。项目页面：https://chen-geng.com/neurok
关键词
引用
@article{arxiv.2605.30347,
title = {NeuROK: Generative 4D Neural Object Kinematics},
author = {Chen Geng and Guangzhao He and Yue Gao and Yunzhi Zhang and Shangzhe Wu and Jiajun Wu},
journal= {arXiv preprint arXiv:2605.30347},
year = {2026}
}
备注
CVPR 2026