Meta-learning In-Context 实现无需训练的跨主体脑解码
机器学习
2026-04-10 v1 神经元与认知
摘要
从脑信号进行视觉解码是计算机视觉与神经科学交叉领域的关键挑战，需要方法来搭建神经表征与计算视觉模型之间。该领域的目标之一是实现通用、跨主体模型。一个主要障碍是来自不同个体之间神经表征的显著变异，这迄今为止需要为每个主体定制模型或单独进行微调。为此，我们引入一种用于从 fMRI 中进行语义视觉解码的 meta 优化方法，可无需任何微调地泛化到新主体。只需对来自新个体的少量图像-脑激活示例进行条件，我们的模型即可快速推断其独特的神经编码模式，以实现稳健且高效的视觉解码。我们的做法专为学习新主体编码模型的 in-context 学习而优化，并通过层次推断进行解码，反向编码器。首先，对于多个脑区，我们通过构建多个刺激和响应的上下文来估计每个体素的视觉响应编码器参数。其次，我们构建包含编码器参数和多个体素上的响应值的上下文，以执行聚合功能反向。我们在 diverse visual backbones 上Demonstrate了强大的跨主体和跨扫描器泛化，无需重新训练或微调。此外，我们的方法既不需要解剖对齐，也不需要刺激重叠。这一步骤是通用非侵入性脑解码的关键一步。
引用
@article{arxiv.2604.08537,
title = {Meta-learning In-Context Enables Training-Free Cross Subject Brain Decoding},
author = {Mu Nan and Muquan Yu and Weijian Mai and Jacob S. Prince and Hossein Adeli and Rui Zhang and Jiahang Cao and Benjamin Becker and John A. Pyles and Margaret M. Henderson and Chunfeng Song and Nikolaus Kriegeskorte and Michael J. Tarr and Xiaoqing Hu and Andrew F. Luo},
journal= {arXiv preprint arXiv:2604.08537},
year = {2026}
}
备注
Accepted to CVPR 2026, website: https://github.com/ezacngm/brainCodec