UniStitch：统一语义和几何特征用于图像拼接

传统的图像拼接方法从手工制作的几何特征估计变换，而最近的基于学习的解决方案则利用神经网络的语义特征。这两条研究路线在很大程度上沿着各自的演化路径分化，迄今为止几乎没有有意义的融合。在本文中，我们迈出了开创性的一步，通过UniStitch（一个基于多模态特征的统一图像拼接框架）来弥合这一差距，统一语义和几何特征。为了对齐离散的几何特征（即关键点）与连续的语义特征图，我们提出了一个神经点变换器（NPT）模块，它将无序、稀疏的1D几何关键点转换为有序、密集的2D语义图。然后，为了整合两种表示的优势，设计了一个自适应专家混合（AMoE）模块来融合几何和语义表示。它在融合过程中动态地将焦点转向更可靠的特征，允许模型处理复杂场景，尤其是当任一模态可能受损时。融合的表示可以被采用到常见的深度拼接流程中，比任何单一特征都能带来显著的性能提升。实验表明，UniStitch以较大优势超越了现有的最先进方法，为传统和基于学习的图像拼接之间的统一范式铺平了道路。