中文

频域互信息的快速计算及其在全球多模态图像配准中的应用

计算机视觉与模式识别 2022-07-01 v1 图像与视频处理

摘要

多模态图像配准是寻找不同成像技术或不同条件下所成图像间空间对应关系的过程,以促进异构数据融合与相关分析。互信息(MI)这一信息论概念被广泛用作引导多模态配准的相似性度量,其中多数工作聚焦于 MI 的局部最大化,通常仅对小位移效果良好;这指出了对 MI 全局最大化的需求,而由于现有算法的高运行时间复杂度,此前在计算上不可行。我们提出了一种高效算法,用于计算所有离散位移下的 MI(形式化为互互信息函数(CMIF)),其基于在频域计算互相关。我们表明该算法等价于直接方法,而在运行时间上渐近更优。此外,我们基于所提 CMIF 算法提出了一种针对少自由度(如刚性)变换模型的多模态图像配准方法。我们在三个不同的基准数据集(航拍图像、细胞学图像和组织学图像)上评估了所提方法的效能,观察到极好的成功率(恢复已知刚性变换),总体优于替代方法,包括 MI 局部优化及若干近期基于深度学习的方法。我们还评估了所提算法的 GPU 实现运行时间,观察到对于真实图像尺寸,相比直接方法的 GPU 实现有 100 至超过 10,000 倍的加速。代码已于 \url{github.com/MIDA-group/globalign} 开源。

关键词

引用

@article{arxiv.2106.14699,
  title  = {Fast computation of mutual information in the frequency domain with applications to global multimodal image alignment},
  author = {Johan Öfverstedt and Joakim Lindblad and Nataša Sladoje},
  journal= {arXiv preprint arXiv:2106.14699},
  year   = {2022}
}

备注

7 pages, 4 figures, 2 tables. The article is under consideration at Pattern Recognition Letters