多模态MRI分析的完成特征解耦学习
计算机视觉与模式识别
2025-02-28 v2
摘要
多模态MRI在临床诊断和治疗中发挥着关键作用。基于特征解耦（FD）的方法旨在学习优越的特征表示以进行多模态数据分析，已在多模态学习（MML）中取得显著成功。通常，现有FD方法将多模态数据分离为模态共享特征和模态特定特征，采用拼接或注意力机制对这些特征进行集成。然而，我们的初步实验表明，这些方法在输入包含超过两个模态时，可能导致子模态集合之间共享信息的丢失，而该信息对预测准确性至关重要。此外，这些方法在融合阶段未充分解释解耦特征之间的关系。为此，我们提出了一种新的Complete Feature Disentanglement（CFD）策略，以恢复特征解耦期间丢失的信息。具体而言，CFD策略不仅识别模态共享和模态特定特征，还解耦子模态输入中共享的特征，称为模态部分共享特征。我们进一步引入了新的Dynamic Mixture-of-Experts Fusion（DMF）模块，通过显式学习特征之间的局部-全局关系，动态集成这些解耦特征。通过在三个多模态MRI数据集上的分类任务验证了该方法的有效性。大量实验结果表明，我们的方法在与其他最先进（SOTA）MML方法相比，以显著的优势表现，凸显了其卓越的性能。
引用
@article{arxiv.2407.04916,
title = {Completed Feature Disentanglement Learning for Multimodal MRIs Analysis},
author = {Tianling Liu and Hongying Liu and Fanhua Shang and Lequan Yu and Tong Han and Liang Wan},
journal= {arXiv preprint arXiv:2407.04916},
year = {2025}
}
备注
Accept by IEEE JBHI 2025