HyperFusion：一种用于表格数据与医学影像多模态融合预测建模的超网络方法
计算机视觉与模式识别
2025-04-22 v3 机器学习
图像与视频处理
摘要
整合多种临床模态，例如医学影像和从患者电子健康记录（EHR）中提取的表格数据，是现代医疗保健的一个关键方面。多源数据的综合分析能够全面了解患者的临床状况，从而改善诊断和治疗决策。深度神经网络（DNN）在医学领域的多种多模态任务中持续展现出卓越的性能。然而，如何有效地将医学影像与以数值表格数据形式呈现的临床、人口统计学和遗传信息相融合，仍然是一个高度活跃且持续进行的研究课题。我们提出了一种基于超网络的新型框架，通过根据EHR的值和测量值来调节图像处理过程，从而融合临床影像和表格数据。该方法旨在利用这些模态中存在的互补信息，以提高各种医疗应用的准确性。我们在两项不同的脑部磁共振成像（MRI）分析任务上展示了我们方法的优势和通用性，即：受试者性别条件下的脑龄预测，以及受表格数据条件约束的多类别阿尔茨海默病（AD）分类。我们表明，我们的框架优于单一模态模型以及最先进的MRI-表格数据融合方法。我们的代码链接可在 https://github.com/daniel4725/HyperFusion 找到。
引用
@article{arxiv.2403.13319,
title = {HyperFusion: A Hypernetwork Approach to Multimodal Integration of Tabular and Medical Imaging Data for Predictive Modeling},
author = {Daniel Duenias and Brennan Nichyporuk and Tal Arbel and Tammy Riklin Raviv},
journal= {arXiv preprint arXiv:2403.13319},
year = {2025}
}
备注
20 pages, 11 figures