一种用于 MR-US 匹配和注册的 3D 跨模态关键点描述子
计算机视觉与模式识别
2026-04-02 v2
摘要
内手术期间将实时超声（iUS）与术前磁共挔成像（MRI）的注册仍是未解决的问题，主要由于由于在外观、分辨率和视野范围方面存在严重的模态差异。为此，我们提出一种 novel 用于 MRI-iUS 匹配和注册的 3D 跨模态关键点描述子。我们的方法采用患者特定的匹配-by-synthesis 方法，从术前 MRI 生成合成 iUS 体数据。这使得可以使用对比学习进行监督训练，以学习共享的描述子空间。随后采用概率性关键点检测策略，以识别解剖学上显著且具有模态一致性的位置。在训练期间，使用基于课程的三元组损失和动态硬负挖掘策略，以学习对 iUS 伪影（如散粒噪声和局部覆盖不足）和旋转不变性的描述子。推理时，该方法在 MR 和真实 iUS 图像中检测关键点并识别稀疏匹配，然后用于进行刚性配准。我们使用 ReMIND 数据集中的 3D MRI-iUS 对进行评估。实验表明，我们的方法在 11 名患者中超越了当前最先进的关键点匹配方法，平均精度为 69.8%。对于图像配准，我们的方法在 ReMIND2Reg 数据集上实现了 2.39 mm 的平均目标配准误差。与现有的 iUS-MR 配准方法相比，我们的框架具有可解释性，无需手动初始化，能够抵抗 iUS 视野变化。代码、数据和模型权重均可在 https://github.com/morozovdd/CrossKEY 获取。
引用
@article{arxiv.2507.18551,
title = {A 3D Cross-modal Keypoint Descriptor for MR-US Matching and Registration},
author = {Daniil Morozov and Reuben Dorent and Nazim Haouchine},
journal= {arXiv preprint arXiv:2507.18551},
year = {2026}
}
备注
Accepted in IEEE Transactions on Medical Imaging