基于多视角填补与交叉注意力网络的不完整纵向多模态数据轻度认知障碍转化预测
图像与视频处理
2023-05-26 v2 计算机视觉与模式识别
摘要
预测轻度认知障碍(MCI)受试者是否会转化为阿尔茨海默病是一项重要的临床挑战。纵向和多模态数据中固有的纵向变化与互补信息对 MCI 转化预测至关重要,但这些数据中持续存在的缺失数据问题可能阻碍其有效应用。此外,在临床实践中,转化预测应在疾病进展的早期阶段即基线访视(BL)实现。因此,纵向数据应仅在训练期间纳入以捕获疾病进展信息。为应对这些挑战,我们提出多视角填补与交叉注意力网络(MCNet),将数据填补与 MCI 转化预测集成于统一框架中。首先,提出一种结合对抗学习的多视角填补方法,以处理各种缺失数据场景并降低填补误差。其次,引入两个交叉注意力模块以挖掘纵向与多模态数据中的潜在关联。最后,建立多任务学习模型用于数据填补、纵向分类和转化预测任务。当模型得到恰当训练后,从纵向数据学到的疾病进展信息可被 BL 数据利用,从而改善 BL 处的 MCI 转化预测。MCNet 在两个独立测试集和单模态 BL 数据上进行了测试,以验证其在 MCI 转化预测中的有效性与灵活性。结果表明 MCNet 优于若干竞争方法。此外,我们展示了 MCNet 的可解释性。因此,我们的 MCNet 可成为纵向与多模态数据分析用于 MCI 转化预测的宝贵工具。代码见 https://github.com/Meiyan88/MCNET。
引用
@article{arxiv.2206.08019,
title = {Multi-View Imputation and Cross-Attention Network Based on Incomplete Longitudinal and Multimodal Data for Conversion Prediction of Mild Cognitive Impairment},
author = {Tao Wang and Xiumei Chen and Xiaoling Zhang and Shuoling Zhou and Qianjin Feng and Meiyan Huang},
journal= {arXiv preprint arXiv:2206.08019},
year = {2023}
}