USFM:面向标签高效图像分析的通用超声基础模型,泛化至多种任务与器官
图像与视频处理
2024-01-03 v2
摘要
跨不同器官和任务的泛化能力不足限制了超声(US)图像分析方法在智慧医疗中的应用。构建通用超声基础模型有望解决这些问题。然而,此类基础模型的开发面临超声分析中的固有挑战,即数据库不足、质量低和特征无效。本文提出一个通用超声基础模型USFM,可泛化至多种任务和器官,实现标签高效的超声图像分析。首先,构建了一个大规模多器官、多中心、多设备超声数据库,全面包含超过两百万张超声图像。采用器官平衡采样以实现无偏学习。然后,USFM在充足的超声数据库上进行自监督预训练。为从低质量超声图像中提取有效特征,我们提出了一种空间-频率双掩码图像建模方法。设计了一种高效的空间噪声添加-恢复方法以鲁棒地学习有意义的超声信息,同时采用一种新颖的频率带阻掩码学习方法以提取复杂、隐式的灰度分布和纹理变化。在来自不同器官和疾病的分割、分类和图像增强等多种任务上进行了大量实验。与代表性超声图像分析模型的比较说明了USFM的通用性和有效性。标签效率实验表明,USFM仅使用20%的标注即可获得稳健性能,为超声模型在临床实践中的快速开发奠定了基础。
引用
@article{arxiv.2401.00153,
title = {USFM: A Universal Ultrasound Foundation Model Generalized to Tasks and Organs towards Label Efficient Image Analysis},
author = {Jing Jiao and Jin Zhou and Xiaokang Li and Menghua Xia and Yi Huang and Lihong Huang and Na Wang and Xiaofan Zhang and Shichong Zhou and Yuanyuan Wang and Yi Guo},
journal= {arXiv preprint arXiv:2401.00153},
year = {2024}
}
备注
Submit to MedIA, 17 pages, 11 figures