增强神经辐射场多尺度表示的鲁棒性

神经辐射场（NeRF）近来作为一种从多视角（MV）图像进行物体表示的新范式而出现。然而，它无法处理多尺度（MS）图像与相机位姿估计误差，而这通常是从日常商用相机捕获的多视角图像的情况。尽管最近提出的Mip-NeRF可处理NeRF的多尺度成像问题，但它无法处理相机位姿估计误差。另一方面，新提出的BARF可用NeRF解决相机位姿问题，但如果图像本质上是多尺度的则会失败。本文提出了一种鲁棒的多尺度神经辐射场表示方法，以同时克服这两种现实世界成像问题。我们的方法利用场景刚性的基本原理，通过受NeRF启发的方法处理多尺度成像效应与相机位姿估计问题。为减少因射线空间中多尺度图像引起的不悦混叠伪影，我们利用了Mip-NeRF多尺度表示。对于鲁棒相机位姿的联合估计，我们在神经体渲染框架中提出了基于图神经网络的多次运动平均。我们通过示例表明，对于从日常获取的多视角图像准确神经表示物体，具备精确的相机位姿估计至关重要。若在相机位姿估计中不考虑鲁棒性措施，通过锥形截头体对多尺度混叠伪影建模可能适得其反。我们在基准数据集上进行了大量实验，表明我们的方法在此类真实设定下比最近的受NeRF启发的方法提供了更好的结果。