基于裂纹结构的粗到细非刚性多模态图像配准方法用于历史画作板画

历史画作的艺术技术调查依赖于获取多模态图像数据，包括可视光摄影、红外反射摄影、紫外荧光摄影、X射线摄影和 macros 摄影。为了进行全面分析，这些多模态图像需要像素级对齐，而这往往是手动完成的。多模态图像配准可以减少这种费力的手动工作，速度更快，并且实现更高的精度。由于分辨率不同、图像尺寸巨大、非刚性失真以及模态相关的图像内容，配准具有挑战性。因此，我们提出一种粗到细的非刚性多模态配准方法，有效地利用稀疏关键点和薄板样条函数。历史画作在画层上表现出细致的裂纹模式，称为裂纹纹（craquelure），该纹理被所有图像系统捕获，非常适合作为配准特征。在我们的单阶段非刚性配准方法中，我们采用卷积神经网络进行基于裂纹纹的联合关键点检测和描述，并使用图神经网络以 patch 方式进行描述符匹配，并基于局部区域的单畸变误差过滤匹配。在粗到细配准方面，我们引入一种新颖的多层关键点细化方法，用于混合分辨率图像的最高分辨率配准。我们创建了一个包含大量关键点注释的多模态画作数据集，并有一个包含五个多模态域和不同图像分辨率的大型测试集。消融研究表明我们细化方法的所有模块都有效。我们的方法在与竞争性关键点和稠密匹配方法以及细化方法的比较中取得最佳配准结果。