自监督多模态神经影像学习为阿尔茨海默病表型谱提供预测性表征
机器学习
2022-09-08 v1 图像与视频处理
神经元与认知
摘要
近期聚焦于通过现代机器学习方法预测脑疾病的神经影像研究通常仅包含单一模态并依赖有监督的过参数化模型。然而,单一模态仅能提供高度复杂大脑的限制性视角。关键的是,临床环境下的有监督模型缺乏用于训练的准确性诊断标签。粗粒度标签无法刻画脑疾病表型的长尾谱,导致模型泛化性丧失,从而在诊断场景中用处有限。本工作提出一种新颖的多尺度协同框架,用于从多模态神经影像数据中学习多种表征。我们提出一套信息性归纳偏置的通用分类法,以捕获多模态自监督融合中的独特与联合信息。该分类法构成了一系列无解码器模型族,其计算复杂度降低,且倾向于捕获多模态输入的局部与全局表征间的多尺度关系。我们利用跨越阿尔茨海默病表型谱的功能与结构磁共振成像(MRI)数据对该分类法进行了综合评估,并表明自监督模型在预训练期间无需标签即可揭示与疾病相关的脑区及多模态关联。所提出的多模态自监督学习为两种模态均带来了分类性能提升的表征。该伴随的丰富且灵活的无监督深度学习框架捕获了复杂的多模态关系,并提供了达到或超过更窄的有监督分类分析的预测性能。我们给出了详尽的定量证据,说明该框架如何能显著推进我们对复杂脑疾病中缺失关联的探索。
引用
@article{arxiv.2209.02876,
title = {Self-supervised multimodal neuroimaging yields predictive representations for a spectrum of Alzheimer's phenotypes},
author = {Alex Fedorov and Eloy Geenjaar and Lei Wu and Tristan Sylvain and Thomas P. DeRamus and Margaux Luck and Maria Misiura and R Devon Hjelm and Sergey M. Plis and Vince D. Calhoun},
journal= {arXiv preprint arXiv:2209.02876},
year = {2022}
}