利用训练时特权第三模态的跨模态图像配准

在这项工作中，我们考虑成对跨模态图像配准任务，其可受益于利用仅在训练时可用的、来自不同于待配准模态的额外模态的附加图像。作为一个示例，我们聚焦于将同一受试者的多参数磁共振（mpMR）图像在 T2 加权（T2w）扫描与高 b 值扩散加权扫描（DWI$_{high-b}$）之间对齐。对于 mpMR 图像中肿瘤定位的应用，零 b 值扩散扫描（DWI$_{b=0}$）由于对应特征的可获得性，被认为更易于配准到 T2w。我们提出一种从特权模态学习算法，使用仅训练用的成像模态 DWI$_{b=0}$，以支持这一困难的多模态配准问题。我们基于来自 356 名前列腺癌患者的 369 组 3D 多参数 MRI 图像给出实验结果，并统计显著地报告：在配准留出的 DWI$_{high-b}$ 与 T2w 图像对时，中位目标配准误差降低至 4.34 mm，而配准前为 7.96 mm。结果还表明，所提出的基于学习的配准网络实现了高效配准，精度可与经典迭代算法及其他有/无额外模态的被测基于学习的方法相媲美或更优。这些对比算法在该困难应用中也未能产生 DWI$_{high-b}$ 与 T2w 之间任何显著改善的对齐。