通过单目深度先验的仿射校正进行相对位姿估计

单目深度估计模型近年来取得了显著进展。许多MDE模型旨在从单目图像预测仿射不变的相对深度，而最近在大规模训练和视觉基础模型方面的发展使得度量（绝对）深度的合理估计成为可能。然而，如何有效利用这些预测进行几何视觉任务，特别是相对位姿估计，仍然相对未被充分探索。虽然深度为跨视图图像对齐提供了丰富的约束，但单目深度先验的内在噪声和模糊性给改进经典的基于关键点的解决方案带来了实际挑战。在本文中，我们开发了三个用于相对位姿估计的求解器，它们显式地考虑了独立的仿射（尺度和偏移）模糊性，涵盖了标定和未标定两种情况。我们进一步提出了一个混合估计流程，将我们提出的求解器与经典的基于点的求解器和极线约束相结合。我们发现，仿射校正建模不仅对相对深度先验有益，而且令人惊讶地对“度量”深度先验也有益。在多个数据集上的结果表明，在标定和未标定设置下，我们的方法相对于经典的基于关键点的基线和基于PnP的解决方案都有大幅改进。我们还表明，我们的方法随着不同的特征匹配器和MDE模型而一致改进，并且可以进一步受益于这两个模块的最新进展。代码可在https://github.com/MarkYu98/madpose获取。