基于 CNN-ViT 协同学习的双学生-教师框架用于产前超声图像的肚骨关节和胎头分割
计算机视觉与模式识别
2024-09-12 v1 人工智能
摘要
肚骨关节和胎头(PSFH)的分割是监控 labor 进展和识别潜在分娩并发症的关键步骤。尽管深度学习取得了进展，但缺乏注释的医学图像阻碍了分割训练。传统的半监督学习方法主要基于卷积神经网络(CNN)的统一网络模型，并应用一致性正则化来减轻对大量注释数据的依赖。然而，这些方法往往难以捕获未标记数据中判别性特征，以及PSFH 在超声图像中模糊边界中所固有的长程依赖关系。为此，我们引入一种新框架：双学生与教师结合 CNN 和 Transformer (DSTCT)， synergistically 集成了 CNN 和 Transformer 的能力。该框架包括一个作为教师的 Vision Transformer(ViT)和两个学生模型（一个 ViT 和一个 CNN）。这种双学生设置通过生成硬伪标签和软伪标签实现相互监督，并通过最小化分类器确定性不一致性来细化其预测一致性。教师模型通过施加一致性正则化约束进一步强化该架构中的学习。为增强方法的泛化能力，我们采用数据和模型扰动技术的组合。对 MICCAI 2023 上 PSFH 分割挑战基准数据集进行全面评估表明，我们的 DSTCT 框架超过了十个当代半监督分割方法。代码可在 https://github.com/jjm1589/DSTCT 查看。
关键词
引用
@article{arxiv.2409.06928,
title = {Intrapartum Ultrasound Image Segmentation of Pubic Symphysis and Fetal Head Using Dual Student-Teacher Framework with CNN-ViT Collaborative Learning},
author = {Jianmei Jiang and Huijin Wang and Jieyun Bai and Shun Long and Shuangping Chen and Victor M. Campello and Karim Lekadir},
journal= {arXiv preprint arXiv:2409.06928},
year = {2024}
}