DISA：面向通用多模态配准的可微相似度近似
计算机视觉与模式识别
2023-07-20 v1 机器学习
图像与视频处理
摘要
多模态图像配准是众多图像引导流程中具挑战性但关键的步骤。多数配准算法依赖计算复杂且常不可微的相似度度量以应对成像模态间解剖结构的表观差异。近期基于机器学习的方法局限于特定解剖-模态组合，不能泛化至新设定。我们提出一个通用框架，用于创建富有表现力的跨模态描述子以实现快速可变形全局配准。我们通过用小型卷积神经网络（CNN）特征空间中的点积近似现有度量来实现此目标，该网络天然可微且无需配准数据即可训练。我们的方法比基于局部块的方法快数个数量级，并可通过将相似度度量替换为所提度量直接应用于临床场景。在三个不同数据集上的实验表明，我们的方法在训练数据之外泛化良好，即便在未见解剖结构与模态对上也具有宽广的捕获范围，无需专门重训练。我们公开了训练代码与数据。
引用
@article{arxiv.2307.09931,
title = {DISA: DIfferentiable Similarity Approximation for Universal Multimodal Registration},
author = {Matteo Ronchetti and Wolfgang Wein and Nassir Navab and Oliver Zettinig and Raphael Prevost},
journal= {arXiv preprint arXiv:2307.09931},
year = {2023}
}
备注
This preprint was submitted to MICCAI 2023. The Version of Record of this contribution will be published in Springer LNCS