自监督多模态表示学习及其在阿尔茨海默病中的应用
机器学习
2022-05-24 v2
摘要
对在功能和结构脑成像上训练的深度监督预测模型进行内省，可能揭示阿尔茨海默病（AD）的新标记。然而，监督训练易于从伪特征中学习（捷径学习），削弱其在发现过程中的价值。深度无监督以及近期的对比自监督方法不受分类偏置影响，是该任务的更好候选。它们的多模态选项特别通过模态交互提供额外正则化。本文中，我们引入一种方法，详尽考虑用于 AD 患者与对照者 fMRI 和 MRI 对比自监督融合的多模态架构。我们表明该多模态融合产生的表示改善了两种模态的下游分类结果。我们研究了投影到脑空间中的融合自监督特征，并引入一种数值稳定的实现方式。
引用
@article{arxiv.2012.13619,
title = {On self-supervised multi-modal representation learning: An application to Alzheimer's disease},
author = {Alex Fedorov and Lei Wu and Tristan Sylvain and Margaux Luck and Thomas P. DeRamus and Dmitry Bleklov and Sergey M. Plis and Vince D. Calhoun},
journal= {arXiv preprint arXiv:2012.13619},
year = {2022}
}