内容感知的无监督深度单应性估计

单应性估计是许多应用中的基本图像对齐方法。它通常通过提取和匹配稀疏特征点来进行，在低光照和低纹理图像中容易出错。另一方面，先前的深度单应性方法要么使用合成图像进行监督学习，要么使用航拍图像进行无监督学习，两者都忽略了在真实世界应用中处理深度差异和移动物体的重要性。为克服这些问题，我们在本工作中提出一种具有新架构设计的无监督深度单应性方法。受传统方法中RANSAC流程的启发，我们专门学习一个离群值掩码，仅选择可靠区域进行单应性估计。我们计算相对于我们学习的深度特征的损失，而非像之前那样直接比较图像内容。为实现无监督训练，我们还制定了一种为我们的网络定制的新型三元组损失。我们通过对一个涵盖广泛场景且任务难度各异的新数据集进行全面比较来验证我们的方法。实验结果表明，我们的方法优于包括深度方案和基于特征的方案在内的最先进水平。