面向超声引导脑肿瘤切除的多模态解剖标志点检测与对比学习
计算机视觉与模式识别
2023-07-28 v1
摘要
医学影像间的同源解剖标志点对多种临床应用中的图像配准质量定量评估具有重要作用，例如超声引导脑肿瘤切除中用于组织移位校正的 MRI-超声配准。尽管 MRI 与超声（US）间人工标识的标志点配对极大促进了该任务下不同配准算法的验证，但此过程需要大量专业知识、人力和时间，且易出现标注者间与标注者内不一致。迄今许多传统与机器学习方法已用于解剖标志点检测，但主要聚焦于单模态应用。遗憾的是，尽管存在临床需求，跨模态/对比标志点检测极少被尝试。因此，我们提出了一种新型对比学习框架，用于检测神经外科手术中 MRI 与术中 US 影像间的对应标志点。具体而言，联合训练两个卷积神经网络以编码 MRI 与 US 影像特征，从而帮助匹配 US 图像块中包含 MRI 中对应标志点的区域。我们利用公开 RESECT 数据库开发并验证了该技术。相较于 SIFT 特征的 18.78±4.77 mm，所提方法的平均标志点检测精度为 5.88±4.79 mm，首次为神经外科应用中的 MRI-US 标志点检测提供了有前景的结果。
引用
@article{arxiv.2307.14523,
title = {Towards multi-modal anatomical landmark detection for ultrasound-guided brain tumor resection with contrastive learning},
author = {Soorena Salari and Amirhossein Rasoulian and Hassan Rivaz and Yiming Xiao},
journal= {arXiv preprint arXiv:2307.14523},
year = {2023}
}
备注
Accepted in MICCAI 2023