基于重建误差引导视角选择的多视角三维物体重建的视角变换鲁棒性

视角变换鲁棒性（VTR）对于基于深度学习的多视角三维物体重建模型至关重要，它表示方法在具有各种视角变换的输入下的稳定性。然而，现有研究很少关注多视角三维物体重建中的视角变换鲁棒性。提高模型VTR的一种直接方法是生成具有更多视角变换的数据并将其添加到模型训练中。大型视觉模型的最新进展，特别是Stable Diffusion模型，为仅通过单张图像输入生成三维模型或合成新视角图像提供了巨大潜力。在推理时直接部署这些模型会消耗大量计算资源，而且它们对视角变换的鲁棒性也无法保证。为了充分利用Stable Diffusion模型的能力而不增加额外的推理计算负担，我们提出使用Stable Diffusion模型生成新视角以提高视角变换鲁棒性。我们不是合成随机视角，而是提出一种重建误差引导的视角选择方法，该方法考虑三维预测重建误差的空间分布，并选择尽可能覆盖重建误差的视角。该方法在具有大视角变换的数据集上进行训练和测试，以验证三维重建模型对视角变换的鲁棒性。大量实验表明，所提出的方法可以超越最先进的三维重建方法和其他视角变换鲁棒性比较方法。代码可在https://github.com/zqyq/VTR获取。