基于潜嵌入对齐的联合 fMRI 解码与编码
计算机视觉与模式识别
2023-06-06 v2
摘要
脑活动与相应视觉刺激之间的关联对于理解人脑至关重要。尽管深度生成模型在通过以 fMRI 信号为条件生成图像来恢复脑记录方面已展现出进展，但实现具有一致语义的高质量生成仍具挑战。此外，从视觉刺激预测脑活动仍是一项艰巨任务。本文中，我们引入一个统一框架，同时解决 fMRI 解码与编码。首先建立两个分别能够表示并重建 fMRI 信号与视觉图像的潜空间，继而将 fMRI 信号与视觉图像在潜空间中对齐，从而实现两域间的双向转换。我们的潜嵌入对齐（LEA）模型在同一框架内同时从 fMRI 信号恢复视觉刺激并基于图像预测脑活动。LEA 在多个基准 fMRI 解码与编码数据集上的性能超越了现有方法。通过整合 fMRI 解码与编码，LEA 为建模脑活动与视觉刺激间的复杂关系提供了全面解决方案。
引用
@article{arxiv.2303.14730,
title = {Joint fMRI Decoding and Encoding with Latent Embedding Alignment},
author = {Xuelin Qian and Yikai Wang and Yanwei Fu and Xinwei Sun and Xiangyang Xue and Jianfeng Feng},
journal= {arXiv preprint arXiv:2303.14730},
year = {2023}
}
备注
12 pages, 5 figures