打破模态差异：红外与可见光图像配准的协调表示

由于视场范围、分辨率与相对位置的差异，由红外与可见光相机组成的多模态传感模块需要进行配准以获得更精确的场景感知。实践中，基于人工标定的配准是应用最广泛的过程，且需定期标定以维持精度，这既耗时又费力。为应对这些问题，我们提出了一种场景自适应的红外与可见光图像配准方法。具体而言，针对多模态图像间的差异，我们设计了一个可逆变换过程以建立一个模态不变域，该域全面涵盖红外与可见光两种模态的特征强度与分布。我们采用单应性（homography）来模拟不同平面间的形变，并开发了一个分层框架，以由粗到精的方式基于所提出的潜在表示校正推断出的形变。由此，先进的感知能力与有助于稀疏偏移回归的残差估计相结合，且交替相关搜索促进了更精确的对应匹配。此外，我们提出了首个具备真值的可错位红外与可见光图像数据集，包含三个合成集与一个真实世界集。大量实验验证了所提方法相对于现有最先进方法的的有效性，推动了后续应用。