中文

FM-OSD: 基于基础模型的一次性解剖标志点检测

计算机视觉与模式识别 2024-07-09 v1 人工智能

摘要

一次性解剖标志点检测因其使用最少标记数据即可产生有希望结果的效率而受到广泛关注。然而,当前方法的成功严重依赖于使用大量未标记数据来预训练有效的特征提取器,这限制了它们在大量未标记数据不可用场景中的适用性。在本文中,我们提出了首个基于基础模型的一次性标志点检测(FM-OSD)框架,该框架仅利用单个模板图像,无需任何额外的未标记数据,即可在医学图像中实现准确的标志点检测。具体来说,我们使用视觉基础模型的冻结图像编码器作为特征提取器,并引入双分支全局和局部特征解码器,以从粗到细的方式提高提取特征的分辨率。引入的特征解码器通过距离感知的相似性学习损失进行高效训练,以融入来自单个模板图像的领域知识。此外,我们开发了一种新颖的双向匹配策略,以提高在基础模型获得的分散相似度图情况下标志点检测的鲁棒性和准确性。我们在两个公开的解剖标志点检测数据集上验证了我们的方法。通过仅使用单个模板图像,我们的方法显著优于强大的最先进一次性标志点检测方法。

关键词

引用

@article{arxiv.2407.05412,
  title  = {FM-OSD: Foundation Model-Enabled One-Shot Detection of Anatomical Landmarks},
  author = {Juzheng Miao and Cheng Chen and Keli Zhang and Jie Chuai and Quanzheng Li and Pheng-Ann Heng},
  journal= {arXiv preprint arXiv:2407.05412},
  year   = {2024}
}

备注

Accepted at MICCAI 2024