深度神经网络时代肿瘤学中的多模态数据融合：一篇综述
机器学习
2024-07-29 v3
摘要
癌症在所获取数据的不同尺度、模态和分辨率上包含关联信息，例如放射学、病理学、基因组学、蛋白质组学和临床记录。整合多样的数据类型可以提高癌症诊断和治疗的准确性与可靠性。可能存在一些疾病相关信息过于微妙，以至于人类或现有技术工具无法在视觉上辨别。传统方法通常聚焦于生物系统在单个尺度上的部分或单模态信息，未能涵盖数据异构性的完整谱。深度神经网络促进了复杂多模态数据融合方法的发展，这些方法能够从多个来源提取并整合相关信息。近期深度学习框架如图神经网络（Graph Neural Networks, GNNs）和 Transformer 在多模态学习中取得了显著成功。本综述文章深入分析了用于肿瘤学场景下多模态数据融合的 GNN 和 Transformer 的当前最优技术，重点介绍了值得关注的研究及其发现。我们还讨论了多模态学习的基础、固有挑战以及肿瘤学中整合学习的机遇。通过审视肿瘤学多模态数据整合的现状与潜在未来发展，我们旨在展示多模态神经网络在个性化肿瘤学实践中通过知情决策于癌症预防、早期检测和治疗中发挥的有前景的作用。
引用
@article{arxiv.2303.06471,
title = {Multimodal Data Integration for Oncology in the Era of Deep Neural Networks: A Review},
author = {Asim Waqas and Aakash Tripathi and Ravi P. Ramachandran and Paul Stewart and Ghulam Rasool},
journal= {arXiv preprint arXiv:2303.06471},
year = {2024}
}