自监督学习提升深度学习肺部肿瘤分割对CT成像差异的鲁棒性
图像与视频处理
2024-05-15 v1 计算机视觉与模式识别
摘要
自监督学习（SSL）是一种从无标签数据中提取有用特征表示的方法，能够在有限标注样本下对下游任务进行微调。自预训练是一种SSL方法，它使用精选的任务数据集来预训练网络并对其进行微调。大量、多样且非精选的公开医学图像集的出现，提供了在“野外”应用SSL的机会，并有可能提取对成像变化具有鲁棒性的特征。然而，医学图像分析中尚未研究野外预训练与自预训练的收益差异。本文比较了野外预训练与自预训练的Transformer（视觉Transformer [ViT] 和分层移动窗口 [Swin]）模型在非小细胞肺癌（NSCLC）分割中对计算机断层扫描（CT）成像差异的鲁棒性。在各种成像采集条件下，野外预训练的Swin模型优于自预训练的Swin模型。对于野外预训练和自预训练模型，ViT产生了相似的准确率。与建模全局图像信息的对比任务相比，迫使网络学习局部结构的掩码图像预测前置任务获得了更高的准确率。微调后，野外预训练模型在较低层表现出更高的特征复用，并在接近输出层处表现出特征分化。因此，我们得出结论：在肺部肿瘤分割中，野外预训练网络对所分析的CT成像差异比自预训练方法更具鲁棒性。Swin架构比ViT从此类预训练中获益更多。
引用
@article{arxiv.2405.08657,
title = {Self-supervised learning improves robustness of deep learning lung tumor segmentation to CT imaging differences},
author = {Jue Jiang and Aneesh Rangnekar and Harini Veeraraghavan},
journal= {arXiv preprint arXiv:2405.08657},
year = {2024}
}