基于图像级监督与自训练的Transformer跨模态肿瘤分割
计算机视觉与模式识别
2023-09-19 v1
摘要
深度神经网络常用于自动化医学图像分割，但模型往往难以在不同成像模态间良好泛化。由于标注数据有限，该问题尤为突出，导致难以大规模部署这些模型。为克服上述挑战，我们提出了一种称为MoDATTS的新型半监督训练策略。我们的方法专为在非配对双模态数据集上实现准确的跨模态3D肿瘤分割而设计。我们利用成像模态间的图像到图像翻译策略生成带标注的伪目标体数据，并改善对未标注目标模态的泛化能力。我们还使用了强大的视觉Transformer架构，并引入迭代自训练流程以进一步缩小模态间的域差距。MoDATTS还可通过利用图像级标签与无监督目标（鼓励模型通过将肿瘤从背景中解耦来执行3D病变到健康的翻译）将训练扩展至未标注目标数据。所提模型在CrossMoDA 2022挑战赛中优于其他参赛队伍的方法，其对VS分割报道的最高Dice分数0.87±0.04即为证明。在由BraTS 2020挑战赛数据集四种不同对比度组成的跨模态脑肿瘤分割任务上，MoDATTS的Dice分数也较基线有一致提升，达到了目标监督模型性能的95%。我们报道，若额外标注20%和50%的目标数据，可分别达到该最大性能的99%和100%，这进一步表明MoDATTS可用于减轻标注负担。
引用
@article{arxiv.2309.09246,
title = {Image-level supervision and self-training for transformer-based cross-modality tumor segmentation},
author = {Malo de Boisredon and Eugene Vorontsov and William Trung Le and Samuel Kadoury},
journal= {arXiv preprint arXiv:2309.09246},
year = {2023}
}
备注
17 pages, 10 figures, 5 tables