SCPainter：用于现实3D资产插入和新视角合成的统一框架
计算机视觉与模式识别
2025-12-30 v1
摘要
3D 资产插入和新视角合成（NVS）是自动驾驶仿真的关键组件，能够增强训练数据的多样性。通过更具多样性且覆盖广泛情形的训练数据（包括长尾驾驶情形），自动驾驶模型可以变得更加稳健和安全。因此，亟需一个统一的仿真框架，能够同时处理所插入3D资产的真实整合和NVS。最近的3D资产重建方法使从视频中重建动态演员的能力得以支持，这些演员可以被重新插入到仿真驾驶场景中。虽然整体结构和外观可以较为准确，但仍难以通过光照或阴影捕捉3D资产的真实感，尤其是当插入到场景中时。在平行地，近期NVS方法的进展已在合成原始轨迹之外的视角方面取得了有前景的成果。然而，现有方法大体上将资产插入和NVS功能视为独立处理。为了与场景的其余部分进行交互，并实现更具多样性的新情形创建，现实的3D资产插入应与NVS相结合。为此，我们提出了SCPainter（Street Car Painter），一个统一框架，将3D高斯光点（GS）汽车资产表示与3D场景点云相结合，并融合基于扩散的生成，以实现3D资产插入和NVS的联合处理。将3D GS 资产和3D场景点云投影到新视角中，并将这些投影用于条件化扩散模型，以生成高质量图像。在 Waymo Open 数据集上的评估表明，我们框架具备3D资产插入和NVS的能力，促进了创建多样且真实的驾驶数据的能力。
引用
@article{arxiv.2512.22706,
title = {SCPainter: A Unified Framework for Realistic 3D Asset Insertion and Novel View Synthesis},
author = {Paul Dobre and Jackson Cooper and Xin Wang and Hongzhou Yang},
journal= {arXiv preprint arXiv:2512.22706},
year = {2025}
}