Transformer从未配准多视角乳腺X线摄影改善乳腺癌诊断
计算机视觉与模式识别
2022-06-22 v1 人工智能
图像与视频处理
摘要
深度卷积神经网络（CNNs）已广泛用于各类医学影像任务。然而，由于卷积运算的固有局部性，CNNs通常不能很好地建模长程依赖，而长程依赖对于准确识别或映射由未配准多张乳腺X线摄影计算出的对应乳腺病灶特征十分重要。这促使我们利用多视角视觉Transformer的架构来捕获同一患者一次检查中多张乳腺X线摄影的长程关系。为此，我们采用局部Transformer块分别学习来自双侧（右/左）乳房双视角（CC/MLO）的四张乳腺X线摄影内部的块关系。不同视角与侧别的输出被拼接并送入全局Transformer块，以联合学习代表左右乳房两个不同视角的四张图像间的块关系。为评估所提模型，我们回顾性组装了一个包含949组乳腺X线摄影的数据集，包括470例恶性病例与479例正常或良性病例。我们使用五折交叉验证方法训练并评估模型。无需任何繁琐预处理步骤（如最佳窗口裁剪、胸壁或胸大肌去除、双视角图像配准等），我们基于四图（双视角-双侧）Transformer的模型达到了病例分类性能ROC曲线下面积（AUC = 0.818），显著优于最先进多视角CNNs的AUC = 0.784（p = 0.009）。它也优于两个单视角-双侧模型，其AUC分别为0.724（CC视角）和0.769（MLO视角）。该研究展示了使用Transformers开发结合四张乳腺X线摄影的高性能计算机辅助诊断方案的潜力。
引用
@article{arxiv.2206.10096,
title = {Transformers Improve Breast Cancer Diagnosis from Unregistered Multi-View Mammograms},
author = {Xuxin Chen and Ke Zhang and Neman Abdoli and Patrik W. Gilley and Ximin Wang and Hong Liu and Bin Zheng and Yuchen Qiu},
journal= {arXiv preprint arXiv:2206.10096},
year = {2022}
}