基于 Transformer-CNN 融合的协作学习增强结肠息肉分割
计算机视觉与模式识别
2023-01-18 v1 人工智能
摘要
传统的结肠息肉分割方法主要基于低级特征设计，无法准确提取小型结肠息肉的位置。尽管现有的深度学习方法可以提高分割精度，但其效果仍不令人满意。为了应对上述挑战，本研究提出了一种名为 Fusion-Transformer-HardNetMSEG（即 Fu-TransHNet）的混合网络。Fu-TransHNet 利用不同机制的深度学习进行相互融合，并通过多视图协作学习技术进行增强。首先，Fu-TransHNet 分别利用 Transformer 分支和 CNN 分支实现全局特征学习和局部特征学习。其次，设计了一个融合模块来整合来自两个分支的特征。该融合模块由两部分组成：1) 全局-局部特征融合（GLFF）部分和 2) 多尺度特征密集融合（DFM）部分。前者旨在补偿两个分支在同一尺度下缺失的特征信息；后者旨在增强特征表示。第三，上述两个分支和融合模块利用多视图协作学习技术获取各自表示重要性的权重，然后综合做出最终决策。实验结果表明，Fu-TransHNet 网络在五个广泛使用的基准数据集上优于现有方法。特别是在包含许多小目标结肠息肉的 ETIS-LaribPolypDB 数据集上，Fu-TransHNet 获得的 mDice 分别比最先进方法 HardNet-MSEG 和 TransFuse-s 高 12.4% 和 6.2%。
引用
@article{arxiv.2301.06892,
title = {Cooperation Learning Enhanced Colonic Polyp Segmentation Based on Transformer-CNN Fusion},
author = {Yuanyuan Wang and Zhaohong Deng and Qiongdan Lou and Shudong Hu and Kup-sze Choi and Shitong Wang},
journal= {arXiv preprint arXiv:2301.06892},
year = {2023}
}
备注
This paper has been submitted to a journal