监督式多模态裂解学习
机器学习
2024-10-01 v1 计算机视觉与模式识别
摘要
从多模态数据集进行学习可利用互补信息并提高预测任务中的性能。一种常用策略是针对高维数据集中的特征相关性采用潜变量方法。虽然已提出多种针对多模态数据集的潜变量方法，但这些方法要么聚焦于提取所有模态之间的共享组件，要么提取共享组件以及每个模态特有的单个组件。为解决这一差距，我们提出了一种多模态裂解学习（MMFL）模型，同时识别多模态数据集特征中全球联合、部分联合和单个组件。与现有潜变量方法不同，MMFL利用响应变量的监督信息来识别可预测的潜变量组件，并天然支持包含不完整多模态数据的集成。通过仿真研究，我们展示了MMFL在完整和不完整模态设置下均优于各种现有多模态算法。我们将MMFL应用于真实案例研究，用于预测阿尔茨海默病早期症状，利用来自阿尔茨海默病神经影像计划（ADNI）数据集的多模态神经影像和基因组数据。MMFL在预测准确性和对模态内外相关性的洞察方面优于现有方法。
引用
@article{arxiv.2409.20559,
title = {Supervised Multi-Modal Fission Learning},
author = {Lingchao Mao and Qi wang and Yi Su and Fleming Lure and Jing Li},
journal= {arXiv preprint arXiv:2409.20559},
year = {2024}
}