RetinaRegNet：一种视网膜图像配准的零样本方法
计算机视觉与模式识别
2024-09-12 v3 人工智能
计算机科学与博弈论
机器学习
摘要
我们介绍了RetinaRegNet，一种零样本图像配准模型，旨在配准重叠区域极小、大变形和图像质量变化的视网膜图像。RetinaRegNet通过以下步骤解决这些挑战并实现鲁棒且准确的配准。首先，我们使用潜在扩散模型从移动图像和固定图像中提取特征。然后，我们结合SIFT算法和随机点采样从固定图像中采样特征点。对于每个采样点，我们使用二维相关图在移动图像中识别其对应点，该相关图计算固定图像中该点的扩散特征向量与移动图像中所有像素之间的余弦相似度。其次，我们通过强制执行逆一致性约束来消除大多数错误检测的点对应（异常值），确保对应关系在正向和反向方向上一致。我们进一步使用基于全局变换的异常值检测器移除对应点之间距离较大的异常值。最后，我们实现了一个两阶段配准框架来处理大变形。第一阶段估计单应性变换以实现图像之间的全局对齐，而第二阶段使用三阶多项式变换来估计局部变形。我们在三个视网膜图像配准数据集上评估了RetinaRegNet：彩色眼底图像、荧光素血管造影图像和激光散斑血流成像图像。我们的模型在所有数据集上始终优于最先进的方法。RetinaRegNet实现的准确配准能够跟踪眼病进展、增强手术规划并促进治疗效果评估。我们的代码公开在：https://github.com/mirthAI/RetinaRegNet。
引用
@article{arxiv.2404.16017,
title = {RetinaRegNet: A Zero-Shot Approach for Retinal Image Registration},
author = {Vishal Balaji Sivaraman and Muhammad Imran and Qingyue Wei and Preethika Muralidharan and Michelle R. Tamplin and Isabella M . Grumbach and Randy H. Kardon and Jui-Kai Wang and Yuyin Zhou and Wei Shao},
journal= {arXiv preprint arXiv:2404.16017},
year = {2024}
}