UAE：多模态医学图像上的通用解剖嵌入
计算机视觉与模式识别
2024-01-19 v3
摘要
在医学图像中识别特定解剖结构（例如病灶或标志点）在医学图像分析中起着基础性作用。基于范例的标志点检测方法正受到越来越多的关注，因为它们在推理时可以检测任意解剖点，且在训练时不需要标志点标注。它们使用自监督学习来为图像中每个体素获取具有判别力的嵌入。这些方法可通过最近邻匹配识别对应标志点，并在各种任务中展现出有前景的结果。然而，当前方法仍面临以下挑战：（1）区分外观相似但语义不同的体素（例如两个无明显边界的相邻结构）；（2）匹配语义相似但外观显著不同的体素（例如对比剂注射前后的同一血管）；（3）跨模态匹配（例如 CT-MRI 基于标志点的配准）。为克服这些挑战，我们提出通用解剖嵌入（UAE），这是一个旨在学习外观、语义和跨模态解剖嵌入的统一框架。具体而言，UAE 包含三项关键创新：（1）基于原型对比损失（prototypical contrastive loss）的语义嵌入学习；（2）基于不动点的匹配策略；（3）用于跨模态嵌入学习的迭代方法。我们在模态内和模态间任务上全面评估了 UAE，包括一次性标志点检测、纵向 CT 扫描上的病灶追踪，以及具有不同视野的 CT-MRI 仿射/刚性配准。我们的结果表明 UAE 优于当前最优（state-of-the-art）方法，为基于标志点的医学图像分析任务提供了一种鲁棒且通用的途径。代码与训练好的模型可在：\href{https://shorturl.at/bgsB3} 获取。
引用
@article{arxiv.2311.15111,
title = {UAE: Universal Anatomical Embedding on Multi-modality Medical Images},
author = {Xiaoyu Bai and Fan Bai and Xiaofei Huo and Jia Ge and Jingjing Lu and Xianghua Ye and Ke Yan and Yong Xia},
journal= {arXiv preprint arXiv:2311.15111},
year = {2024}
}