像医学住院医师一样训练：面向通用医学图像分割的上下文先验学习
计算机视觉与模式识别
2024-04-09 v3
摘要
临床影像工作流的一个主要关注点是疾病诊断与管理，这导致医学影像数据集与特定临床目标紧密绑定。这一情形催生了开发任务专用分割模型的盛行做法，而无法从广泛的影像队列中获得洞见。受医学放射科住院医师培训项目启发，我们提出转向通用医学图像分割，该范式旨在通过利用临床目标、身体区域和成像模态之间的多样性与共性来构建医学图像理解基础模型。为实现此目标，我们开发了Hermes，一种新颖的上下文先验学习方法，以应对医学图像分割中数据异质性与标注差异的挑战。在一个包含十一个多样数据集（2,438张3D图像）、跨越五种模态（CT、PET、T1、T2和cine MRI）及多个身体区域的大型集合中，我们展示了通用范式相对于传统范式在单一模型内处理多任务的优势。通过利用任务间的协同，Hermes在所有测试数据集上取得了最先进（state-of-the-art）性能，并展现出优越的模型可扩展性。在两个额外数据集上的结果揭示了Hermes在迁移学习、增量学习及下游任务泛化方面的强劲性能。Hermes学到的先验展现出反映任务与模态间复杂关系的引人特质，这与放射学中既有的解剖与成像原理一致。代码已公开：https://github.com/yhygao/universal-medical-image-segmentation。
引用
@article{arxiv.2306.02416,
title = {Training Like a Medical Resident: Context-Prior Learning Toward Universal Medical Image Segmentation},
author = {Yunhe Gao and Zhuowei Li and Di Liu and Mu Zhou and Shaoting Zhang and Dimitris N. Metaxas},
journal= {arXiv preprint arXiv:2306.02416},
year = {2024}
}
备注
Accepted by CVPR 2024