DF-DM：人工智能时代多模态数据融合的基础过程模型

在大数据时代，整合多种数据模态带来了重大挑战，尤其是在医疗保健等复杂领域。本文介绍了一种新的多模态数据融合用于数据挖掘的过程模型，该模型将嵌入和跨行业数据挖掘标准过程与现有的数据融合信息组模型相结合。我们的模型旨在降低计算成本、复杂性和偏差，同时提高效率和可靠性。我们还提出了“解缠密集融合”，一种新颖的嵌入融合方法，旨在优化互信息并促进密集的模态间特征交互，从而最小化冗余信息。我们通过三个用例展示了模型的有效性：使用视网膜图像和患者元数据预测糖尿病视网膜病变；使用卫星图像、互联网和人口普查数据预测家庭暴力；以及从放射影像和临床笔记中识别临床和人口统计学特征。该模型在糖尿病视网膜病变预测中取得了0.92的Macro F1分数，在家庭暴力预测中取得了0.854的R平方和24.868的sMAPE，在放射学分析中疾病预测和性别分类分别取得了0.92和0.99的宏观AUC。这些结果强调了数据融合用于数据挖掘模型在多模态数据处理方面的巨大潜力，促进了其在各种资源受限环境中的采用。