FreeGen:面向自由视点驾驶场景合成的重建-生成协训练框架
计算机视觉与模式识别
2025-12-05 v1
摘要
闭环仿真与大规模预训练是自动驾驶的关键需求,但现有数据集与生成管线很少提供一致的离轨观察,限制了大规模评估与训练。虽然近期生成模型在视觉逼真度方面表现突出,但在不进行单场景优化的情况下难以同时实现插值一致性与 extrapolation 逼真度。为此,我们提出 FreeGen——一个用于自由视点驾驶场景合成的 feed-forward 重建-生成协训练框架。重建模型提供稳定的几何表征以确保插值一致性,而生成模型执行几何感知增强以提升未见视角下的逼真度。通过协训练,生成先验被蒸馏至重建模型以提升离轨渲染质量, refined geometry 又为生成提供更强的结构引导。实验表明,FreeGen 在自由视点驾驶场景合成方面实现了最佳性能。
引用
@article{arxiv.2512.04830,
title = {FreeGen: Feed-Forward Reconstruction-Generation Co-Training for Free-Viewpoint Driving Scene Synthesis},
author = {Shijie Chen and Peixi Peng},
journal= {arXiv preprint arXiv:2512.04830},
year = {2025}
}
备注
Novel View Synthesis, Driving Scene, Free Trajectory, Image Generation