基于多模态融合与非线性相关性学习的大脑肿瘤复发位置预测

脑肿瘤是癌症死亡的主要原因之一。高级别脑肿瘤即使在标准治疗后也更容易复发。因此，开发一种预测脑肿瘤复发位置的方法在治疗规划中起着重要作用，并有可能延长患者的生存时间。目前处理该问题的研究仍然很少。在本文中，我们提出了一种基于深度学习的大脑肿瘤复发位置预测网络。由于数据集通常较小，我们提出使用迁移学习来改善预测。我们首先在公共数据集 BraTS 2021 上训练一个多模态脑肿瘤分割网络。然后，将预训练的编码器迁移到我们的私有数据集以提取丰富的语义特征。随后，开发了多尺度多通道特征融合模型和非线性相关性学习模块来学习有效特征。多通道特征之间的相关性通过非线性方程建模。为了度量某一模态原始特征分布与另一模态估计相关特征分布之间的相似性，我们提出使用 Kullback-Leibler 散度。基于该散度，设计了一个相关性损失函数以最大化两个特征分布之间的相似性。最后，构建两个解码器联合分割当前脑肿瘤并预测其未来肿瘤复发位置。据我们所知，这是首项能够同时分割当前肿瘤并预测未来肿瘤复发位置的工作，使治疗规划更高效和精确。实验结果证明了我们所提方法在有限数据集上预测脑肿瘤复发位置的有效性。