GSR-Net:用于从低分辨率功能脑连接组预测高分辨率的图超分辨率网络
图像与视频处理
2020-09-24 v1 计算机视觉与模式识别
摘要
为图像超分辨率(SR)量身定制的引人注目且严谨的深度学习架构,却无法推广到脑连接组等非欧几里得数据。具体而言,尽管构建从低分辨率(LR)脑连接组超分辨率到高分辨率(HR)(即添加新图节点/边)的生成模型可避免昂贵的数据采集与脑解剖区域(即分区)的人工标注,但这一方向仍未被探索。为填补此空白,我们提出 GSR-Net(Graph Super-Resolution Network,图超分辨率网络),这是首个在图结构数据上运行、从低分辨率图生成高分辨率脑图的超分辨率框架。首先,我们采用基于图卷积、池化与非池化操作(专为非欧几里得数据设计)的类 U-Net 架构。然而,传统 U-Net 中图节点表示样本、节点特征被映射到低维空间(编码与解码节点属性或样本特征),我们的 GSR-Net 直接作用于单个连接组:一个全连接图,其中 conventionally 节点表示脑区、节点无特征、边权重表示两个感兴趣区域(ROIs)间的脑连接强度。在缺乏原始节点特征的情况下,我们初始为每个脑 ROI(节点)分配恒等特征向量,然后利用学习的局部感受野来学习节点特征表示。其次,受谱理论启发,我们通过在其上叠加一个图超分辨率(GSR)层与两个图卷积网络层来打破 U-Net 架构的对称性,从而在保留 LR 输入特征的同时预测 HR 图。我们提出的 GSR-Net 框架在从低分辨率连接组预测高分辨率脑功能连接组方面优于其变体。
引用
@article{arxiv.2009.11080,
title = {GSR-Net: Graph Super-Resolution Network for Predicting High-Resolution from Low-Resolution Functional Brain Connectomes},
author = {Megi Isallari and Islem Rekik},
journal= {arXiv preprint arXiv:2009.11080},
year = {2020}
}