BrainNetDiff：生成式 AI 通过多模态扩散模型赋能脑网络生成
计算机视觉与模式识别
2023-11-10 v1
摘要
脑网络分析已成为深入理解脑功能与疾病机制的关键方法。尽管存在多种网络构建方法，在结构性与功能性脑影像数据相关性学习方面仍存在不足。有鉴于此，我们提出一种名为 BrainNetDiff 的新方法，其结合多头 Transformer 编码器从 fMRI 时间序列中提取相关特征，并集成条件隐扩散模型用于脑网络生成。借助条件提示与融合注意力机制，该方法显著提升了脑网络生成的准确性与稳定性。据我们所知，这是首个采用扩散实现多模态脑影像融合及从图像到图的脑网络生成的框架。我们使用真实数据集在健康与神经受损队列的脑网络构建中验证了该框架的适用性。实验结果生动展示了所提方法在下游疾病分类任务中的显著有效性。这些发现令人信服地强调了其在脑网络研究领域的前瞻价值，尤其在神经影像分析与疾病诊断中的关键意义。本研究为多模态脑影像数据处理提供了宝贵参考，并为神经影像领域引入了新颖高效的解决方案。
引用
@article{arxiv.2311.05199,
title = {BrainNetDiff: Generative AI Empowers Brain Network Generation via Multimodal Diffusion Model},
author = {Yongcheng Zong and Shuqiang Wang},
journal= {arXiv preprint arXiv:2311.05199},
year = {2023}
}