CATD: 用于EEG到fMRI跨模态生成的统一表示学习
计算机视觉与模式识别
2025-03-27 v3 信号处理
神经元与认知
摘要
多模态神经影像分析对于全面理解大脑功能与病理至关重要，因为它允许整合不同的成像技术，从而克服单一模态的局限性。然而，某些模态的高昂成本和有限可用性带来了重大挑战。为解决这些问题，本文提出了条件对齐时序扩散（CATD）框架，用于神经影像的端到端跨模态合成，能够从更易获取的电生理信号（EEG）生成功能磁共振成像（fMRI）检测的血氧水平依赖（BOLD）信号。通过构建条件对齐块（CAB），异质神经影像被对齐到潜在空间，实现统一表示，为神经影像中的跨模态转换奠定基础。与所构建的动态时频分割（DTFS）模块的结合也使得能够利用EEG信号来提高BOLD信号的时间分辨率，从而增强对大脑动态细节的捕捉。实验验证表明，该框架将大脑活动状态预测的准确率提升了9.13%（达到69.8%），将脑部疾病诊断准确率提升了4.10%（达到99.55%），有效识别了异常脑区域，增强了BOLD信号的时间分辨率。所提出的框架通过将异质神经影像数据统一到潜在表示空间中，建立了神经影像跨模态合成的新范式，在改善帕金森病预测和识别异常脑区域等医学应用中展现出前景。
引用
@article{arxiv.2408.00777,
title = {CATD: Unified Representation Learning for EEG-to-fMRI Cross-Modal Generation},
author = {Weiheng Yao and Zhihan Lyu and Mufti Mahmud and Ning Zhong and Baiying Lei and Shuqiang Wang},
journal= {arXiv preprint arXiv:2408.00777},
year = {2025}
}
备注
11 pages, 9 figures, Accepted by IEEE Transactions on Medical Imaging