Mind-to-Image：从 fMRI 投射大脑的视觉心理想象
神经元与认知
2024-05-29 v5 计算机视觉与模式识别
机器学习
摘要
得益于丰富的 fMRI 数据集和图像生成生成模型的进步，在过去十年中，从视觉刺激期间收集的 fMRI 数据中重建受试者观察到的图像取得了强劲进展。然而，视觉重建的应用仍然有限。重建视觉想象提出了更大的挑战，其潜在的革命性应用范围从帮助残疾人士到在法庭上验证证人证言。该领域的主要障碍是缺乏视觉想象的数据收集协议和相关的数据集。传统上，fMRI 到图像的转换依赖于从暴露于视觉刺激的受试者收集的数据，这在基于视觉刺激和视觉想象之间大脑活动差异生成视觉想象时会产生问题。我们首次编制了一个关于视觉想象的大型数据集（约 6 小时扫描），并提出了相应的数据收集协议。随后，我们训练了一个修改版的 fMRI 到图像模型，并证明了从两种想象模式重建图像的可行性：基于记忆和基于纯粹想象。我们将由此产生的流程称为 Mind-to-Image，标志着向创建允许直接重建视觉想象的技术迈出了一步。
引用
@article{arxiv.2404.05468,
title = {Mind-to-Image: Projecting Visual Mental Imagination of the Brain from fMRI},
author = {Hugo Caselles-Dupré and Charles Mellerio and Paul Hérent and Alizée Lopez-Persem and Benoit Béranger and Mathieu Soularue and Pierre Fautrel and Gauthier Vernier and Matthieu Cord},
journal= {arXiv preprint arXiv:2404.05468},
year = {2024}
}
备注
Pre-print to be updated. Work in progress