基于 Stereo Forcing 的 4D 驾驶场景生成
计算机视觉与模式识别
2025-09-25 v1
摘要
当前生成模型在缺乏针对每个场景的优化情况下，难以同时支持时序外推和空间新视角合成（NVS）。将生成与新视角合成的桥接仍是主要挑战。我们提出PhiGenesis，一个统一的 4D 场景生成框架，扩展视频生成技术，实现几何与时序一致性。给定多视角图像序列和相机参数，PhiGenesis生成沿目标 3D 轨迹的连续 4D 高斯溅射表示。在第一阶段，PhiGenesis利用预训练视频 VAE 及新颖的视野适配器，实现从多视角图像的前馈 4D 重建。该架构支持单帧或视频输入，输出包含几何、语义和运动的完整 4D 场景。在第二阶段，PhiGenesis引入几何引导视频扩散模型，使用渲染的历史 4D 场景作为先验，生成基于轨迹的未来视角。为解决新视角中的几何曝光偏差，我们提出 Stereo Forcing，即一种将几何不确定性在去噪过程中集成的新型条件策略。该方法通过基于不确定性感知扰动的动态调整，增强时序一致性。我们的实验结果表明，该方法在外观和几何重建、时序生成和新视角合成（NVS）任务中均实现了最先进（SOTA）性能，同时在下游评估中提供具竞争力的性能。主页地址为\href{https://jiangxb98.github.io/PhiGensis}{PhiGensis}。
引用
@article{arxiv.2509.20251,
title = {4D Driving Scene Generation With Stereo Forcing},
author = {Hao Lu and Zhuang Ma and Guangfeng Jiang and Wenhang Ge and Bohan Li and Yuzhan Cai and Wenzhao Zheng and Yunpeng Zhang and Yingcong Chen},
journal= {arXiv preprint arXiv:2509.20251},
year = {2025}
}