基于 Transformer 的局部特征匹配用于多模态图像配准
图像与视频处理
2024-04-26 v1
摘要
超声成像是一种用于实时可视化解剖结构的经济且无辐射的模态，使其成为引导外科手术的理想选择。然而，其有限的视野、散斑噪声和成像伪影使得缺乏经验的用户难以解读图像。在本文中，我们提出了一种新的 2D 超声到 3D CT 配准方法，以改善超声引导介入过程中的手术引导。我们的方法将一种称为 LoFTR 的密集特征匹配方法应用于我们的多模态配准问题。我们学习使用基于 Transformer 的架构来预测从粗到细的密集对应关系，以估计 2D 超声帧与 CT 扫描之间稳健的刚性变换。此外，引入了一种完全可微的位姿估计方法，在训练过程中基于位姿估计误差优化 LoFTR。在离体猪肾多模态数据集上进行的实验表明，该方法在术中无跟踪器超声位姿估计方面显示出可喜的结果。通过将 2D 超声帧映射到 3D CT 体积空间，该方法提供了术中引导，有望改善手术流程和图像解读。
引用
@article{arxiv.2404.16802,
title = {Transformer-Based Local Feature Matching for Multimodal Image Registration},
author = {Remi Delaunay and Ruisi Zhang and Filipe C. Pedrosa and Navid Feizi and Dianne Sacco and Rajni Patel and Jayender Jagadeesan},
journal= {arXiv preprint arXiv:2404.16802},
year = {2024}
}
备注
Accepted to SPIE Medical Imaging 2024