一种基于关键点、鲁棒且可解释的多模态配准深度学习框架
计算机视觉与模式识别
2023-09-04 v2
摘要
我们提出KeyMorph，一种基于深度学习的图像配准框架，其依赖于自动检测对应关键点。最先进的深度学习配准方法通常对大错位不鲁棒、不可解释，且未纳入问题的对称性。此外，大多数模型在测试时仅产生单一预测。我们解决这些缺陷的核心见解是：图像间的对应关键点可用于通过可微闭式表达式获得最优变换。我们利用这一观察来驱动针对配准任务定制的关键点的端到端学习，且无需真实关键点知识。该框架不仅显著提高了配准的鲁棒性，还带来了更好的可解释性，因为关键点揭示了图像的哪些部分在驱动最终对齐。此外，KeyMorph可被设计为在图像平移下等变和/或相对于输入图像顺序对称。最后，我们展示了如何在测试时高效且以闭式计算对应于不同变换变体的多个形变场。我们在解决多模态脑MRI扫描的3D仿射和基于样条的配准中演示了所提出的框架。特别地，我们展示了超越当前最先进方法的配准精度，尤其是在大位移的背景下。我们的代码见 https://github.com/alanqrwang/keymorph。
引用
@article{arxiv.2304.09941,
title = {A Robust and Interpretable Deep Learning Framework for Multi-modal Registration via Keypoints},
author = {Alan Q. Wang and Evan M. Yu and Adrian V. Dalca and Mert R. Sabuncu},
journal= {arXiv preprint arXiv:2304.09941},
year = {2023}
}
备注
Accepted to Medical Image Analysis 2023