Psychometry：一种用于从人脑活动重建图像的全适应模型

从人脑活动重建所看到的图像通过脑机接口连接人类和计算机视觉。个体之间脑功能的固有变异性导致现有文献专注于使用各自的脑信号数据为每个个体获取单独的模型，忽略了这些数据之间的共性。在本文中，我们设计了Psychometry，一个用于从不同受试者获得的功能性磁共振成像（fMRI）重建图像的omnifit模型。Psychometry包含一个全混合专家（Omni MoE）模块，其中所有专家共同工作以捕捉受试者间的共性，而每个与受试者特定参数相关的专家则处理个体差异。此外，Psychometry配备了一种检索增强推理策略，称为Ecphory，旨在通过从预存储的受试者特定记忆中检索来增强学习的fMRI表示。这些设计共同使Psychometry具有全适应性和高效性，使其能够捕捉受试者间的共性和个体特异性。因此，增强的fMRI表示作为条件信号指导生成模型重建高质量和逼真的图像，使Psychometry在高层次和低层次指标上均达到最先进水平。