跨模态引导的多模态学习与双注意力机制用于MRI脑肿瘤分级
计算机视觉与模式识别
2024-01-18 v1 人工智能
摘要
脑肿瘤是全球最致命的癌症之一，在儿童和老年人中非常常见。早期准确识别肿瘤的类型和分级对于选择精确的治疗方案至关重要。不同序列的磁共振成像（MRI）协议为临床医生提供了识别肿瘤区域的重要对比信息。然而，由于数据量大和脑肿瘤类型的多样性，人工评估耗时且容易出错。因此，对MRI自动脑肿瘤诊断存在未满足的需求。我们观察到单模态模型的预测能力有限，且其性能在不同模态间差异很大，而常用的模态融合方法会引入潜在噪声，导致性能显著下降。为了克服这些挑战，我们提出了一种新颖的跨模态引导的多模态学习与双注意力机制，用于解决MRI脑肿瘤分级任务。为了平衡模型效率与效果，我们采用ResNet混合卷积作为特征提取的骨干网络。此外，应用双注意力分别捕获空间维度和切片维度的语义相互依赖关系。为了促进模态间的信息交互，我们设计了一个跨模态引导模块，其中主模态在训练过程中引导其他次要模态，这可以有效利用不同MRI模态的互补信息，同时减轻可能噪声的影响。
引用
@article{arxiv.2401.09029,
title = {Cross-modality Guidance-aided Multi-modal Learning with Dual Attention for MRI Brain Tumor Grading},
author = {Dunyuan Xu and Xi Wang and Jinyue Cai and Pheng-Ann Heng},
journal= {arXiv preprint arXiv:2401.09029},
year = {2024}
}