DreamCar: 利用车辆专属先验进行野外3D车辆重建

自驾行业通常雇佣专业艺术家构建精美的3D车辆模型。但大规模数字资产的制作成本高昂。鉴于已有大量包含大量车辆图像的数据集,本文聚焦于从这些数据集重建高质量的3D车辆模型。然而,这些数据集仅包含车辆单侧正向移动场景中的图像。我们尝试利用现有的生成模型提供更多监督信息,但它们在车辆上的泛化能力差,因为训练时使用的是非车辆专用的合成数据集。此外,当处理野外图像时,相机姿态估计误差大,导致重建的3D车辆纹理错位。这些限制使得前述方法难以重建完整的3D车辆。为解决这些问题,本文提出一种新方法,名为DreamCar,可仅通过少量甚至单张图像即可重建高质量的3D车辆。为增强生成模型的泛化性,我们收集了一个名为Car360的数据集,包含超过5,600辆车辆。有了该数据集,我们使生成模型对车辆更具鲁棒性。我们利用该方法专为车辆设计的生成先验通过Score Distillation Sampling引导其重建。为进一步补充监督信息,我们利用车辆的几何与外观对称性。最后,我们提出一种姿态优化方法,以解决纹理错位问题。广泛的实验表明,本方法在重建高质量3D车辆方面显著优于现有方法。我们的代码已提供。