CKD-TransBTS：用于脑肿瘤分割的临床知识驱动混合 Transformer 与模态相关交叉注意力
图像与视频处理
2022-07-18 v1 计算机视觉与模式识别
摘要
磁共振图像（MRI）中的脑肿瘤分割（BTS）对于脑肿瘤诊断、癌症管理和研究目的至关重要。随着十年 BraTS 挑战赛的巨大成功以及 CNN 和 Transformer 算法的进展，许多出色的 BTS 模型被提出以应对 BTS 在不同技术方面的困难。然而，现有研究很少考虑如何以合理方式融合多模态图像。本文中，我们利用放射科医生如何从多模态 MRI 诊断脑肿瘤的临床知识，提出一种临床知识驱动的脑肿瘤分割模型，称为 CKD-TransBTS。我们并非直接拼接所有模态，而是根据 MRI 成像原理将输入模态重新组织分为两组。设计了一个带有所提议的模态相关交叉注意力块（MCCA）的双分支混合编码器来提取多模态图像特征。所提模型兼具 Transformer 与 CNN 之长，具备用于精确病灶边界的局部特征表示能力以及用于 3D 体数据的长程特征提取能力。为弥合 Transformer 与 CNN 特征间的差距，我们在解码器中提出 Trans&CNN 特征校准块（TCFC）。我们在 BraTS 2021 挑战赛数据集上将所提模型与五个基于 CNN 的模型和六个基于 Transformer 的模型进行比较。大量实验表明，相较于所有竞争对手，所提模型实现了最先进的脑肿瘤分割性能。
引用
@article{arxiv.2207.07370,
title = {CKD-TransBTS: Clinical Knowledge-Driven Hybrid Transformer with Modality-Correlated Cross-Attention for Brain Tumor Segmentation},
author = {Jianwei Lin and Jiatai Lin and Cheng Lu and Hao Chen and Huan Lin and Bingchao Zhao and Zhenwei Shi and Bingjiang Qiu and Xipeng Pan and Zeyan Xu and Biao Huang and Changhong Liang and Guoqiang Han and Zaiyi Liu and Chu Han},
journal= {arXiv preprint arXiv:2207.07370},
year = {2022}
}