V1T：基于Vision Transformer的大规模小鼠初级视觉皮层响应预测
计算机视觉与模式识别
2023-09-06 v4 机器学习
神经与进化计算
神经元与认知
摘要
构建能够准确预测视觉皮层对自然视觉刺激神经响应的计算模型仍是计算神经科学中的挑战。本工作中，我们提出V1T，一种基于Vision Transformer的新颖架构，可跨个体学习共享的视觉与行为表征。我们在两个从小鼠初级视觉皮层记录的大规模数据集上评估了我们的模型，在预测性能上比先前基于卷积的模型高出12.7%以上。此外，我们表明Transformer学到的自注意力权重与群体感受野相关。因此，我们的模型为神经响应预测设立了新基准，并可与行为和神经记录联合使用，以揭示视觉皮层有意义的特征。
引用
@article{arxiv.2302.03023,
title = {V1T: large-scale mouse V1 response prediction using a Vision Transformer},
author = {Bryan M. Li and Isabel M. Cornacchia and Nathalie L. Rochefort and Arno Onken},
journal= {arXiv preprint arXiv:2302.03023},
year = {2023}
}
备注
updated references and added link to code repository; add analysis on generalization and visualize aRFs; updated with TMLR publication