用于医学图像配准的通用图像编码器 DINOv2
计算机视觉与模式识别
2024-02-27 v1 人工智能
摘要
现有的医学图像配准算法要么依赖于特定数据集的训练，要么依赖于基于局部纹理的特征来对齐图像。前者若无大量特定模态的训练数据集则难以可靠实施，而后者缺乏全局语义，因此容易陷入局部极小值。在本文中，我们提出了一种无需训练的弹性图像配准方法 DINO-Reg，该方法利用通用图像编码器 DINOv2 进行图像特征提取。DINOv2 编码器是使用包含自然图像的 ImageNet 数据训练的。我们使用了预训练的 DINOv2 且未进行任何微调。我们的方法将 DINOv2 编码的特征输入离散优化器，以寻找最优的弹性配准场。我们进行了一系列实验，以理解此类通用图像编码器在图像配准应用中的行为和作用。结合手工设计的特征，我们的方法在最近的 OncoReg 挑战赛中获得了第一名。据我们所知，这是通用视觉基础模型在医学图像配准中的首次应用。
引用
@article{arxiv.2402.15687,
title = {General Purpose Image Encoder DINOv2 for Medical Image Registration},
author = {Xinrui Song and Xuanang Xu and Pingkun Yan},
journal= {arXiv preprint arXiv:2402.15687},
year = {2024}
}