通过交替优化实现多模态图像对的无监督单应性估计

估计两幅图像之间的单应性对于中高级视觉任务（如图像拼接和融合）至关重要。然而，由于难以收集真实数据，使用监督学习方法通常具有挑战性或成本高昂。为此，出现了无监督学习方法。然而，大多数早期方法假设给定的图像对来自同一相机或具有微小的光照差异。因此，虽然这些方法在如此条件下表现有效，但当输入图像对来自不同领域（称为多模态图像对）时，它们通常会失败。为了解决这些限制，我们提出了AltO，一种用于估计多模态图像对中单应性的无监督学习框架。我们的方法采用两阶段交替优化框架，类似于期望最大化（EM），其中一个阶段减少几何差距，另一个阶段处理模态差距。为了处理这些差距，我们对模态差距使用Barlow Twins损失，并提出了一个扩展版本Geometry Barlow Twins用于几何差距。因此，我们证明了我们的方法AltO可以在没有任何真实数据的情况下在多模态数据集上训练。它不仅优于其他无监督方法，而且与各种单应性估计器架构兼容。源代码可在：~\url{https://github.com/songsang7/AltO}找到。