通过 CNN 与 Transformer 间交叉教学实现半监督医学图像分割
图像与视频处理
2022-03-02 v2 计算机视觉与模式识别
摘要
近来，基于卷积神经网络（CNNs）和 Transformers 的深度学习在完全监督医学图像分割中展现出令人鼓舞的结果。然而，在仅有有限标注用于训练时，它们仍难以取得良好性能。在这项工作中，我们提出了一种非常简单却高效的半监督医学图像分割框架，引入了 CNN 与 Transformer 之间的交叉教学。具体而言，我们将经典深度协同训练从一致性正则化简化为交叉教学，其中一方的网络预测被用作伪标签直接端到端地监督另一方网络。考虑到 CNN 与 Transformer 在学习范式上的差异，我们引入了 CNN 与 Transformer 之间的交叉教学，而非仅使用 CNN。在公开基准上的实验表明，我们的方法仅凭更简单的框架便优于八种现有的半监督学习方法。值得注意的是，本工作可能是首次尝试将 CNN 与 Transformer 结合用于半监督医学图像分割，并在公开基准上取得有前景的结果。代码将于 https://github.com/HiLab-git/SSL4MIS 发布。
引用
@article{arxiv.2112.04894,
title = {Semi-Supervised Medical Image Segmentation via Cross Teaching between CNN and Transformer},
author = {Xiangde Luo and Minhao Hu and Tao Song and Guotai Wang and Shaoting Zhang},
journal= {arXiv preprint arXiv:2112.04894},
year = {2022}
}
备注
accepted to MIDL2022, code in SSL4MIS:https://github.com/HiLab-git/SSL4MIS