应用于相机重定位的专家样本一致性方法

将模型参数拟合到一组含噪数据点是计算机视觉中的常见问题。在本工作中，我们将 6 维相机位姿拟合到 2D 输入图像与已知 3D 环境之间的一组含噪对应点上。我们使用神经网络从图像中估计这些对应点。由于对应点常含离群值，我们采用鲁棒估计器如随机样本一致性（RANSAC）或可微 RANSAC（DSAC）来拟合位姿参数。当问题域（例如所有 2D-3D 对应点的空间）庞大或模糊时，单一网络不能很好地覆盖该域。专家混合（MoE）是一种将问题域划分给一组专用网络（即所谓专家）的流行策略，其中门控网络决定哪个专家负责给定输入。在本工作中，我们提出专家样本一致性（ESAC），将 DSAC 集成于 MoE 中。我们的主要技术贡献是一种高效联合端到端训练 ESAC 的方法。我们通过实验证明，ESAC 比竞争方法更好地处理两个现实世界问题，即可扩展性与模糊性。我们将 ESAC 应用于将简单几何模型拟合到合成图像，以及用于困难真实数据集的相机重定位。