利用对比自监督与潜在扩散从脑活动解码真实图像
计算机视觉与模式识别
2023-10-03 v1
摘要
从人类脑活动重建视觉刺激为我们增进对大脑视觉系统及其与计算机视觉模型联系的理解提供了良好契机。尽管深度生成模型已被用于此任务，但由于脑信号底层表示的复杂性以及平行数据的有限性，生成具有准确语义的高质量图像这一挑战仍然存在。在本文中，我们提出一个名为 Contrast and Diffuse（CnD）的两阶段框架，用于从功能磁共振成像（fMRI）记录中解码真实图像。在第一阶段，我们通过自监督对比学习获取 fMRI 数据的表示。在第二阶段，编码后的 fMRI 表示通过我们提出的概念感知条件化方法对扩散模型进行条件化，以重建视觉刺激。实验结果表明，CnD 在具有挑战性的基准上重建出高度可信的图像。我们还对潜在扩散模型（LDM）组件与人类大脑视觉系统之间的联系给出了定量解释。总之，我们提出了一种基于人类脑活动重建视觉刺激的有效方法，并提供了一个理解扩散模型与人类脑视觉系统关系的新框架。
引用
@article{arxiv.2310.00318,
title = {Decoding Realistic Images from Brain Activity with Contrastive Self-supervision and Latent Diffusion},
author = {Jingyuan Sun and Mingxiao Li and Marie-Francine Moens},
journal= {arXiv preprint arXiv:2310.00318},
year = {2023}
}
备注
8 pages,5 figures,