DreamCatcher：利用GPT嵌入与fMRI揭示大脑的语言
计算机视觉与模式识别
2023-06-21 v1
摘要
人类大脑在视觉处理方面拥有非凡的能力，包括图像识别和场景概括。人们已做出努力来理解视觉大脑的认知能力，但其底层机制仍未被全面理解。脑解码技术的进展催生了诸如fMRI-to-Image重建等复杂方法，这对认知神经科学和医学影像具有重要意义。然而，fMRI-to-Image重建仍存在挑战，例如全局上下文与上下文信息的融入。本文中，我们提出fMRI字幕生成，即基于fMRI数据生成字幕以洞察视觉感知的神经关联。本研究提出DreamCatcher，一种用于fMRI字幕生成的新型框架。DreamCatcher由表示空间编码器（RSE）和RevEmbedding解码器组成，分别将fMRI向量转换到潜空间并生成字幕。我们通过可视化、数据集训练及在受试者上的测试评估了该框架，展现出强劲性能。基于fMRI的字幕生成具有多样应用，包括理解神经机制、人机交互以及增强学习与训练过程。
引用
@article{arxiv.2306.10082,
title = {DreamCatcher: Revealing the Language of the Brain with fMRI using GPT Embedding},
author = {Subhrasankar Chatterjee and Debasis Samanta},
journal= {arXiv preprint arXiv:2306.10082},
year = {2023}
}
备注
10 Pages, 8 figures, 1 table