马尔西亚世界模型: 具备物理精确 3D 重建的可控视频合成
计算机视觉与模式识别
2025-12-08 v2
摘要
合成逼真的火星山地视频对于任务演练和机器人仿真至关重要。但这一任务因火星数据稀缺且火星与陆地图像之间的显著领域差异而面临独特挑战。为此，我们提出了由两个关键组件构成的综合解决方案：1) 数据 curated 流水线 Multimodal Mars Synthesis (M3arsSynth)，从来自 NASA 行星数据系统 (PDS) 的真实立体导航图像中重建 3D 火星环境，并渲染高保真多视角 3D 视频序列。2) 火星地形视频生成器 MarsGen，其合成的视频在视觉上逼真且几何上与数据中编码的 3D 结构保持一致。我们的 M3arsSynth 引擎涵盖广泛的火星地形和获取日期，使我们能够以米级分辨率生成物理精确的 3D 表面模型。MarsGen 在 M3arsSynth 数据上微调后，可基于初始图像帧和可选的相机轨迹或文本提示合成新视频，实现在新环境中的视频生成。实验结果表明，我们的方法优于基于陆地数据集训练的视频合成模型，实现更高的视觉保真度和 3D 结构一致性。
引用
@article{arxiv.2507.07978,
title = {Martian World Model: Controllable Video Synthesis with Physically Accurate 3D Reconstructions},
author = {Longfei Li and Zhiwen Fan and Wenyan Cong and Xinhang Liu and Yuyang Yin and Matt Foutter and Panwang Pan and Chenyu You and Yue Wang and Zhangyang Wang and Yao Zhao and Marco Pavone and Yunchao Wei},
journal= {arXiv preprint arXiv:2507.07978},
year = {2025}
}
备注
Project Page: https://marsgenai.github.io