随机森林与神经网络：哪种更适合相机定位？

本工作解决了在已知三维场景中给定单张输入 RGB 图像的相机定位任务。最先进的方法分两步实现：首先，对图像中的每个像素回归其三维场景坐标，随后利用这些坐标通过 RANSAC 估计最终的 6D 相机位姿。为解决第一步，通常使用随机森林。另一方面，神经网络在许多密集回归任务中占主导地位，但测试时效率不高。我们提出一个问题：两者中哪个更适合相机定位？为此，我们做出了两项方法贡献：（1）一种测试时高效的神经网络架构，我们称之为 ForestNet，它由随机森林导出并初始化；（2）一种新的用于回归集成的全可微鲁棒平均技术，可与神经网络端到端训练。我们的实验结果表明，对于场景坐标回归，传统的神经网络架构优于测试时高效的随机森林和 ForestNet，然而，这并未转化为最终的 6D 相机位姿精度，在该指标上随机森林和 ForestNet 表现略好。总而言之，我们最好的方法——带有鲁棒平均的 ForestNet，具有等效的快速且轻量级的随机森林，在 7-Scenes 数据集上改进了相机定位的最先进水平。虽然本工作侧重于用于相机定位的场景坐标回归，但我们的创新也可应用于其他连续回归任务。