多模态脑活动翻译的潜在表征学习
机器学习
2024-09-30 v1 神经元与认知
摘要
神经科学采用多种神经成像技术，为从高时间分辨率的电生理记录（如 EEG）到高空间精度的血流动力学模态（如 fMRI），提供了不同的洞察。然而，整合这些异构数据源仍是一个挑战，这限制了对脑功能的全面理解。我们提出了 Spatiotemporal Alignment of Multimodal Brain Activity（SAMBA）框架，通过学习无模态特定偏见的统一潜在空间，弥合空间和时间分辨率之间的差距。SAMBA 引入了基于注意力的小波分解，用于对电生理记录进行谱滤波，图注意力网络用于建模功能脑区之间的功能连接，以及循环层用于捕获脑信号的时间自相关。我们展示了，除了实现翻译之外，SAMBA 还学习了丰富的脑信息处理表示。我们展示了从 SAMBA 隐藏层中学习到的表示用于分类外部刺激驱动的脑活动，为广泛的神经科学研究和临床应用铺平了道路。
引用
@article{arxiv.2409.18462,
title = {Latent Representation Learning for Multimodal Brain Activity Translation},
author = {Arman Afrasiyabi and Dhananjay Bhaskar and Erica L. Busch and Laurent Caplette and Rahul Singh and Guillaume Lajoie and Nicholas B. Turk-Browne and Smita Krishnaswamy},
journal= {arXiv preprint arXiv:2409.18462},
year = {2024}
}