M2EF-NNs：用于癌症生存预测的多模态多实例证据融合神经网络
计算机视觉与模式识别
2024-08-09 v1
摘要
准确的癌症生存预测对于协助临床医生制定治疗方案至关重要。多模态数据，包括组织病理学图像和基因组数据，提供了互补且全面的信息，可以显著提高该任务的准确性。然而，当前方法尽管取得了有前景的结果，但存在两个显著局限：它们未能有效利用全局上下文，且忽视了模态不确定性。在本研究中，我们提出了一种名为 M2EF-NNs 的神经网络模型，利用多模态和多实例证据融合技术进行准确的癌症生存预测。具体而言，为了捕获图像中的全局信息，我们使用预训练的 Vision Transformer（ViT）模型获取组织病理学图像的块特征嵌入。然后，我们引入一个多模态注意力模块，以基因组嵌入作为查询，学习基因组与组织病理学图像之间的共同注意力映射，以实现多模态信息的早期交互融合，并更好地捕获它们之间的相关性。随后，我们首次将 Dempster-Shafer 证据理论（DST）应用于癌症生存预测。我们使用处理后的多模态特征对类别概率分布进行参数化，并引入主观逻辑来估计与不同模态相关的不确定性。通过结合 Dempster-Shafer 理论，我们可以在多模态融合后动态调整类别概率的权重，从而实现可信的生存预测。最后，在 TCGA 数据集上的实验验证证实了我们所提方法在癌症生存预测中的显著改进，并增强了模型的可靠性。
引用
@article{arxiv.2408.04170,
title = {M2EF-NNs: Multimodal Multi-instance Evidence Fusion Neural Networks for Cancer Survival Prediction},
author = {Hui Luo and Jiashuang Huang and Hengrong Ju and Tianyi Zhou and Weiping Ding},
journal= {arXiv preprint arXiv:2408.04170},
year = {2024}
}