用于预测胶质瘤基因型的多模态学习
计算机视觉与模式识别
2022-03-22 v1 人工智能
摘要
异柠檬酸脱氢酶（IDH）基因突变是胶质瘤诊断和预后的一项重要生物标志物。通过整合病灶肿瘤图像与几何特征以及源自 MRI 的脑网络特征，有望更好地预测胶质瘤基因型。卷积神经网络在预测 IDH 突变方面表现出合理性能，但其无法从非欧几里得数据（如几何与网络数据）中学习。在本研究中，我们提出一种多模态学习框架，使用三个独立编码器分别提取病灶肿瘤图像、肿瘤几何形状和全局脑网络的特征。为缓解扩散 MRI 可用性的限制，我们开发了一种自监督方法，从解剖学多序列 MRI 生成脑网络。此外，为从脑网络中提取肿瘤相关特征，我们为脑网络编码器设计了一个分层注意力模块。进一步，我们设计了一种双层多模态对比损失，以对齐多模态特征并解决病灶肿瘤与全局脑之间的域差距。最后，我们提出一种加权群体图来整合多模态特征以进行基因型预测。测试集上的实验结果表明，所提模型优于基线深度学习模型。消融实验验证了框架各组件的性能。可视化解释与临床知识相符并得到进一步验证。总之，所提学习框架为预测胶质瘤基因型提供了一种新方法。
引用
@article{arxiv.2203.10852,
title = {Multi-modal learning for predicting the genotype of glioma},
author = {Yiran Wei and Xi Chen and Lei Zhu and Lipei Zhang and Carola-Bibiane Schönlieb and Stephen J. Price and Chao Li},
journal= {arXiv preprint arXiv:2203.10852},
year = {2022}
}
备注
Under review