CNN-Transformer 矫正协同学习用于医学图像分割
计算机视觉与模式识别
2024-08-28 v2
摘要
自动且精确的医学图像分割 (MIS) 对临床诊断和分析至关重要。当前的 MIS 方法主要依赖卷积神经网络 (CNN) 或自注意力机制 (Transformer) 进行特征建模。然而，基于 CNN 的方法因全局依赖性有限而存在定位不准确的问题，而基于 Transformer 的方法则因缺乏局部强调而常呈现粗糙的边界。尽管一些 CNN-Transformer 混合方法旨在综合互补的局部和全局信息以获得更好的性能，但 CNN 与 Transformer 的结合引入了大量参数并增加了计算成本。为此，本文提出了一种 CNN-Transformer 矫正协同学习 (CTRCL) 框架，通过它们之间的双向知识迁移，为 MIS 任务学习更强的基于 CNN 和基于 Transformer 的模型。具体来说，我们提出了一种矫正 logit 级协同学习 (RLCL) 策略，该策略引入真实标签来自适应地选择和矫正学生软标签中的错误区域，以在 logit 空间中进行准确的知识迁移。我们还提出了一种类别感知的特征级协同学习 (CFCL) 策略，通过赋予基于 CNN 和基于 Transformer 模型的中间特征相似的类别感知能力，在特征空间中实现它们之间的有效知识迁移。在三个流行的 MIS 基准上的大量实验表明，我们的 CTRCL 在不同的评估指标下均优于大多数最先进的协同学习方法。
引用
@article{arxiv.2408.13698,
title = {CNN-Transformer Rectified Collaborative Learning for Medical Image Segmentation},
author = {Lanhu Wu and Miao Zhang and Yongri Piao and Zhenyan Yao and Weibing Sun and Feng Tian and Huchuan Lu},
journal= {arXiv preprint arXiv:2408.13698},
year = {2024}
}