从fMRI解码视觉回响：记忆解离以提取过去语义信息
计算与语言
2024-10-01 v1
摘要
人类视觉系统能够处理连续的视觉信息流，但人类如何在连续视觉处理过程中对近期视觉记忆进行编码与检索仍未知晓。本研究探讨了工作记忆在持续视觉刺激下保持过去信息的能力。随后，我们提出了一种新任务记忆解离（Memory Disentangling），旨在从fMRI信号中提取并解码过去信息。为解决来自过去记忆信息的干扰问题，我们设计了一种受主动干扰现象启发的解离对比学习方法。该方法将相邻fMRI信号中的信息分离为当前与过去组成部分，并解码为图像描述。实验结果表明，该方法有效地解离了fMRI信号中的信息。该研究可推动脑机接口的发展，并缓解fMRI低时间分辨率的问题。
引用
@article{arxiv.2409.20428,
title = {Decoding the Echoes of Vision from fMRI: Memory Disentangling for Past Semantic Information},
author = {Runze Xia and Congchi Yin and Piji Li},
journal= {arXiv preprint arXiv:2409.20428},
year = {2024}
}
备注
Accepted at Main Conference of EMNLP 2024