面向多模态脑网络的深度表示学习
计算机视觉与模式识别
2020-07-21 v1
摘要
将网络科学方法应用于研究人脑的功能与解剖结构在现代医学影像分析中十分普遍。由于复杂的网络拓扑，对于个体大脑，从多模态脑网络中挖掘具有判别力的网络表示并非易事。深度学习技术在图结构数据上的近期成功为建模非线性跨模态关系提供了新途径。然而，当前的深度脑网络方法要么忽略内在图拓扑，要么需要组内共享的网络基。为应对这些挑战，我们提出一种新颖的端到端深度图表示学习（深度多模态脑网络——DMBN）来融合多模态脑网络。具体而言，我们通过图编码与解码过程解读跨模态关系。从脑结构网络到功能网络的高阶网络映射在节点域中学习。所学网络表示是一组节点特征，其信息足以以监督方式诱导脑显著性图。我们在合成与真实图像数据上测试了我们的框架。实验结果表明所提方法优于其他一些最先进的深度脑网络模型。
引用
@article{arxiv.2007.09777,
title = {Deep Representation Learning For Multimodal Brain Networks},
author = {Wen Zhang and Liang Zhan and Paul Thompson and Yalin Wang},
journal= {arXiv preprint arXiv:2007.09777},
year = {2020}
}
备注
11 pages, 3 figures, MICCAI 2020