SSL^2：自监督学习遇见半监督学习——基于大规模3T-MRI的7T-MRI多发性硬化分割
计算机视觉与模式识别
2023-03-10 v1 机器学习
图像与视频处理
摘要
从MRI扫描中自动分割多发性硬化（MS）病灶对于量化疾病进展十分重要。近年来，卷积神经网络（CNNs）在拥有大量标注数据时对此任务表现出顶尖性能。然而，当处理少量和/或稀疏标注数据集时，CNNs的精度会下降。一种潜在方案是利用大型公共数据集中的信息，结合仅含有限标注数据的目标数据集。本文中，我们提出一种训练框架SSL2（self-supervised-semi-supervised，自监督-半监督），用于有限监督下的多模态MS病灶分割。我们采用自监督学习，从大型公共3T数据集中汲取知识，以应对小型7T目标数据集的局限。为利用未标注7T数据中的信息，我们还评估了最先进的半监督方法在其他有限标注设定下的表现，例如小标注训练规模与稀疏标注。我们使用移位窗口（Swin）transformer1作为骨干网络。自监督与半监督训练策略的有效性在我们的内部7T MRI数据集上得到评估。结果表明，每种策略均改善了有限训练数据规模与稀疏标注场景下的病灶分割。与任一单独组件相比，组合整体框架进一步大幅提升了性能。因此，我们提出的框架为未来数据/标注匮乏的7T MS研究提供了一种有前景的解决方案。
引用
@article{arxiv.2303.05026,
title = {SSL^2: Self-Supervised Learning meets Semi-Supervised Learning: Multiple Sclerosis Segmentation in 7T-MRI from large-scale 3T-MRI},
author = {Jiacheng Wang and Hao Li and Han Liu and Dewei Hu and Daiwei Lu and Keejin Yoon and Kelsey Barter and Francesca Bagnato and Ipek Oguz},
journal= {arXiv preprint arXiv:2303.05026},
year = {2023}
}
备注
Accepted at the International Society for Optics and Photonics - Medical Imaging (SPIE-MI) 2023