CB-HVTNet：一种用于组织病理图像中淋巴细胞评估的通道增强混合视觉Transformer网络
图像与视频处理
2023-10-30 v3 计算机视觉与模式识别
机器学习
摘要
Transformer 因其学习长程依赖的能力，克服了卷积神经网络（CNNs）在全局视角学习上的不足，因此在包括医学诊断在内的若干视觉相关任务中获得了研究者的关注。然而，其多头注意力模块仅捕获全局级特征表示，对医学图像而言尚不充分。为解决此问题，我们提出了通道增强混合视觉 Transformer（CB HVT），其利用迁移学习生成增强通道，并采用 Transformer 与 CNN 来分析组织病理图像中的淋巴细胞。所提出的 CB HVT 包含五个模块：通道生成模块、通道利用模块、通道合并模块、区域感知模块以及检测与分割头，它们协同工作以有效识别淋巴细胞。通道生成模块利用通过迁移学习进行通道增强的思想，从不同辅助学习器提取多样通道。在 CB HVT 中，这些增强通道首先在通道利用模块中经注意力机制拼接并排序，随后在通道合并模块中使用融合块对多样增强通道进行渐进且系统的合并，以提升网络的学习表示。CB HVT 还在其区域感知模块中采用提议网络以及一个头部，以有效识别目标，即便在重叠区域与存在伪影时。我们在两个公开数据集上评估了所提出的 CB HVT 用于组织病理图像中的淋巴细胞评估。结果表明 CB HVT 优于其他最先进的检测模型，并具有良好的泛化能力，证明了其作为病理学家工具的价值。
引用
@article{arxiv.2305.09211,
title = {CB-HVTNet: A channel-boosted hybrid vision transformer network for lymphocyte assessment in histopathological images},
author = {Momina Liaqat Ali and Zunaira Rauf and Asifullah Khan and Anabia Sohail and Rafi Ullah and Jeonghwan Gwak},
journal= {arXiv preprint arXiv:2305.09211},
year = {2023}
}
备注
IEEE Access (2023)