基于神经辐射场的工业机器人应用新视角合成

神经辐射场（NeRFs）已成为一个快速发展的研究领域，有潜力彻底改变典型的光测流程，例如用于3D场景重建的流程。作为输入，NeRFs需要多视角图像及其对应的相机位姿以及内方位。在典型的NeRF工作流程中，相机位姿和内方位通过运动恢复结构（SfM）预先估计。但生成的新视角质量取决于不同参数，如可用图像的数量和分布，以及相关相机位姿和内方位的精度，难以预测。此外，SfM是一个耗时的预处理步骤，其质量强烈依赖于图像内容。而且，SfM的未定义缩放因子阻碍了后续需要度量信息的步骤。在本文中，我们评估了NeRFs在工业机器人应用中的潜力。我们提出了一种替代SfM预处理的方法：使用安装在工业机器人末端执行器上的标定相机捕获输入图像，并基于机器人运动学确定具有度量尺度的精确相机位姿。然后，我们通过将新视角与真实值进行比较，以及基于集成方法计算内部质量度量，来研究新视角的质量。为了评估，我们获取了多个数据集，这些数据集对典型工业应用的重建提出了挑战，如反射物体、弱纹理和精细结构。我们表明，在非苛刻情况下，基于机器人的位姿确定达到了与SfM相似的精度，而在更具挑战性的场景中具有明显优势。最后，我们展示了在没有真实值的情况下，应用集成方法估计合成新视角质量的初步结果。