StairwayGraphNet：用于模态间与模态内多分辨率脑图对齐与合成
图像与视频处理
2021-10-11 v1 计算机视觉与模式识别
机器学习
神经与进化计算
神经元与认知
摘要
合成多模态医疗数据可提供互补知识，并帮助医生做出精确的临床表现决策。尽管前景可观，现有的多模态脑图合成框架仍存在若干局限。首先，它们主要只解决一个问题（模态内或模态间），限制了其同时合成模态间与模态内数据的泛化能力。其次，虽然少数技术致力于在单一模态内（即模态内）超分辨低分辨率脑图，但模态间图超分辨仍未被探索，尽管这可以避免昂贵的数据采集与处理。更重要的是，目标域与源域可能具有不同的分布，从而导致它们之间的域断裂。为填补这些空白，我们提出一种多分辨率 StairwayGraphNet（SG-Net）框架，以基于给定模态联合推断目标图模态，并在模态间与模态内域中超分辨脑图。我们的 SG-Net 基于三项主要贡献：（i）基于一种新颖的图生成对抗网络在模态间（例如形态-功能）与模态内（例如功能-功能）域中从源图预测目标图，（ii）无需依赖耗时且昂贵的 MRI 处理步骤即可生成高分辨率脑图，以及（iii）使用模态间对齐器强制源分布匹配真实脑图分布以放宽待优化的损失函数。此外，我们设计了一种新的保真损失函数（Ground Truth-Preserving loss），以引导两个生成器更准确地学习真实脑图的拓扑结构。我们在使用多分辨率阶梯从源图预测目标脑图上的综合实验表明，与变体及最先进方法相比，我们的方法具有优越性。
引用
@article{arxiv.2110.04279,
title = {StairwayGraphNet for Inter- and Intra-modality Multi-resolution Brain Graph Alignment and Synthesis},
author = {Islem Mhiri and Mohamed Ali Mahjoub and Islem Rekik},
journal= {arXiv preprint arXiv:2110.04279},
year = {2021}
}
备注
arXiv admin note: substantial text overlap with arXiv:2107.06281