CAD-NeRF：通过CAD模型检索从未标定少视图图像学习NeRF

从多视图图像重建是3D视觉中的一个长期问题，神经辐射场（NeRF）在其中展现出巨大潜力，能够生成新视角的逼真渲染图像。目前，大多数NeRF方法要么需要精确的相机位姿，要么需要大量输入图像，或者两者兼有。在没有任何已知位姿的情况下，从少视图图像重建NeRF具有挑战性且高度不适定。为解决这一问题，我们提出了CAD-NeRF，一种从少于10张图像且无需任何已知位姿即可重建的方法。具体而言，我们从ShapeNet构建了一个小型CAD模型库，并从许多随机视角进行渲染。给定稀疏视图输入图像，我们从库中运行模型和位姿检索，获取具有相似形状的模型，作为密度监督和位姿初始化。这里我们提出了一种多视图位姿检索方法，以避免视图间的位姿冲突，这在未标定NeRF方法中是一个新的未见问题。然后，通过CAD指导训练对象的几何形状。密度场的变形和相机位姿联合优化。随后，纹理和密度也进行训练和微调。所有训练阶段均为自监督方式。对合成图像和真实图像的综合评估表明，CAD-NeRF成功地从检索到的CAD模型中学习到具有大变形的精确密度，展现了泛化能力。