利用多模态孪生神经网络预测脑退化
计算机视觉与模式识别
2020-11-03 v1 机器学习
图像与视频处理
摘要
为研究神经退行性疾病，对志愿患者开展纵向研究。在数月到数年的时间跨度内，他们定期接受医学访视，以获取来自不同模态的数据，如生物样本、认知测试、结构与功能成像。这些变量具有异质性，但均依赖于患者的健康状况，意味着所有模态之间可能存在未知关系。某些信息可能特定于某些模态，其他可能互补，还有其他可能冗余。部分数据也可能缺失。本工作中，我们提出一种用于多模态学习的神经网络架构，能够利用两个时间点的成像与临床数据预测神经退行性疾病的演变，并对缺失值具有鲁棒性。我们的多模态网络在 57 名受试者的测试集上达到 92.5% 准确率与 0.978 的 AUC 分数。我们还展示了相较于仅使用临床模态的模型，该多模态架构在测试集受试者临床测量值缺失高达 37.5% 时仍具优越性。
引用
@article{arxiv.2011.00840,
title = {Predicting Brain Degeneration with a Multimodal Siamese Neural Network},
author = {Cecilia Ostertag and Marie Beurton-Aimar and Muriel Visani and Thierry Urruty and Karell Bertet},
journal= {arXiv preprint arXiv:2011.00840},
year = {2020}
}
备注
Accepted in the 10th International Conference on Image Processing Theory, Tools and Applications (IPTA 2020)