基于条件ViT-GAN的结构MRI与功能连接网络跨模态合成
图像与视频处理
2023-09-18 v1 计算机视觉与模式识别
摘要
结构磁共振成像（sMRI）与功能网络连接（FNC）之间的跨模态合成在医学影像中是一个相对未被充分探索的领域，尤其在精神分裂症方面。本研究采用条件视觉Transformer生成对抗网络（cViT-GANs），基于sMRI输入生成FNC数据。在包含精神分裂症患者与健康对照受试者的综合数据集上训练后，我们的cViT-GAN模型有效合成了每位受试者的FNC矩阵，并进一步形成组间差异FNC矩阵，与实际FNC矩阵取得0.73的皮尔逊相关性。此外，我们的FNC可视化结果显示特定皮层下脑区存在显著相关性，凸显了模型捕捉精细结构-功能关联的能力。该性能使我们的模型区别于基于条件CNN的GAN替代方案（如Pix2Pix）。我们的研究是将sMRI与FNC合成相联系的首次尝试之一，有别于其他聚焦于T1与T2加权MR图像或MRI与CT扫描融合的跨模态研究。
引用
@article{arxiv.2309.08160,
title = {Cross-Modal Synthesis of Structural MRI and Functional Connectivity Networks via Conditional ViT-GANs},
author = {Yuda Bi and Anees Abrol and Jing Sui and Vince Calhoun},
journal= {arXiv preprint arXiv:2309.08160},
year = {2023}
}