MotionCrafter：基于4D VAE 的稠密几何与运动重建
计算机视觉与模式识别
2026-03-31 v2 人工智能
计算几何
机器学习
摘要
我们提出 MotionCrafter，一个利用视频生成器从单目视频中联合重建4D几何并估计稠密运动的框架。关键思想是将稠密3D 点图和3D 场景流在共享坐标系中的密集表示，以及一个专为有效学习此表示而设计的4D VAE。不同于先前工作严格将3D 值和潜在变量与 RGB VAE 潜在变量对齐——尽管二者分布根本不同——我们表明这种对齐是不必要的且可能损害性能。相反，我们提出了一种新的数据归一化和 VAE 训练策略，更好地传递扩散先验，显著提高重建质量。广泛的实验表明 MotionCrafter 在多个数据集上实现了在几何重建和稠密场景流估计方面的最佳性能，分别实现了 38.64% 和 25.0% 的改进，且无需任何后期优化。项目页面: https://ruijiezhu94.github.io/MotionCrafter_Page
引用
@article{arxiv.2602.08961,
title = {MotionCrafter: Dense Geometry and Motion Reconstruction with a 4D VAE},
author = {Ruijie Zhu and Jiahao Lu and Wenbo Hu and Xiaoguang Han and Jianfei Cai and Ying Shan and Chuanxia Zheng},
journal= {arXiv preprint arXiv:2602.08961},
year = {2026}
}
备注
Project page: https://ruijiezhu94.github.io/MotionCrafter_Page