多模态深度学习中生物医学应用的中间融合系统综述
机器学习
2026-03-13 v1 人工智能
摘要
深度学习通过提供处理复杂高维数据的方法， revolutionized了生物医学研究。多模态深度学习（MDL）进一步通过整合影像、文本数据和基因信息等不同数据类型，实现了更稳健、准确的预测模型。在MDL中，与早期和晚期融合方法不同，中间融合凭借在学习过程中有效地整合模态特有特征的能力而居于突出。本系统综述旨在全面分析和形式化生物医学应用中当前的中间融合方法。我们研究所采用的方法、所面临的挑战以及推进中间融合方法的潜在未来方向。此外，我们引入一种结构化符号系统以增强这些方法在生物医学领域之外的理解与应用。我们的发现旨在支持研究人员、医疗专业人员以及更广泛的深度学习社区，开发出更为精妙、具有洞察力的多模态模型。通过本综述，我们旨在为未来研究和实际应用提供一个基础框架，以适应MDL这一动态领域的发展。
引用
@article{arxiv.2408.02686,
title = {A Systematic Review of Intermediate Fusion in Multimodal Deep Learning for Biomedical Applications},
author = {Valerio Guarrasi and Fatih Aksu and Camillo Maria Caruso and Francesco Di Feola and Aurora Rofena and Filippo Ruffini and Paolo Soda},
journal= {arXiv preprint arXiv:2408.02686},
year = {2026}
}