受视网膜拓扑启发的脑编码模型与 All-for-One 训练策略
计算机视觉与模式识别
2023-07-27 v1
摘要
脑编码模型旨在预测脑体素层面对刺激图像的响应，复现神经成像技术捕获的脑信号。现有大量公开数据，但训练一个全面的脑编码模型颇具挑战。主要困难源于：a）个体脑内的多样性，即功能异质的脑区；b）不同受试者脑间的多样性，由遗传与发育差异导致；c）成像模态与处理流程的多样性。我们将此多样性转化为优势，引入 All-for-One 训练策略，将棘手的大模型问题拆分为多个小模型，小模型在聚合知识的同时保留不同功能区域的区分。独立于训练策略，我们利用脑的生物学知识（特别是视网膜拓扑）引入归纳偏置，学习 3D 脑到图像的映射，以确保 a）每个神经元知晓应聚集哪些图像区域与语义层级的信息；b）模型中无神经元被遗漏。我们使用来自五个公开数据集、跨越三种成像模态的逾百万数据点预训练了脑编码模型。据我们所知，这是迄今最全面的脑编码模型。我们证明了预训练模型作为常用视觉骨干模型直接替换的有效性。此外，我们展示了该模型在脑解码中的应用。代码与模型检查点将公开。
引用
@article{arxiv.2307.14021,
title = {Retinotopy Inspired Brain Encoding Model and the All-for-One Training Recipe},
author = {Huzheng Yang and Jianbo Shi and James Gee},
journal= {arXiv preprint arXiv:2307.14021},
year = {2023}
}