众脑之智：通用脑编码器
计算机视觉与模式识别
2026-05-26 v4
摘要
图像到 fMRI 编码对于神经科学研究和实际应用至关重要。然而，这类 "脑编码器" 通常针对每个受试者和每个 fMRI 数据集进行训练，从而受限于非常有限的训练数据。在本文中，我们提出了一种通用脑编码器（Universal Brain-Encoder），其可以针对来自多个不同受试者/数据集/机器的数据进行联合训练。使其成为可能的是我们新的体素中心编码器架构，该架构学习每个脑体素的唯一 "体素嵌入"。我们的编码器通过直接计算脑体素嵌入与多层深度图像特征之间的注意力来预测每个脑体素在每张图像上的响应。这种体素中心架构允许每个脑体素的功能从体素-图像注意力中自然地浮现。我们展示了该方法的强大功能：(i) 将来自多个不同受试者（即 "众脑"）的数据组合起来以改善每个个体的脑编码；(ii) 在受试者、数据集和机器之间进行快速而有效的迁移学习（例如 3-Tesla、7-Tesla），只需少量训练样本；(iii) 将所学体素嵌入用作探索脑功能的强大工具（例如，哪些信息在大脑的哪个位置被编码）。
引用
@article{arxiv.2406.12179,
title = {The Wisdom of a Crowd of Brains: A Universal Brain Encoder},
author = {Roman Beliy and Navve Wasserman and Amit Zalcher and Michal Irani},
journal= {arXiv preprint arXiv:2406.12179},
year = {2026}
}