大脑解码深度网络

我们开发了一种工具，通过将大型预训练视觉模型映射到大脑上来对其进行可视化和分析，从而揭示其隐藏的内部结构。我们的创新源于对大脑编码的惊人运用：预测大脑对图像响应的 fMRI 测量值。我们报告了两项发现。首先，在空间、层、尺度和通道维度上，大脑与深度网络特征之间的显式映射至关重要。这种映射方法 FactorTopy 对任何深度网络都是即插即用的；借助它，可以将网络画面“画”到大脑上（字面意义上！）。其次，我们的可视化展示了不同训练方法的重要性：它们在层次组织和缩放行为上导致了显著差异，这些差异随着数据量或网络容量的增加而增长。它还提供了对微调的洞察：预训练模型在适应小数据集时是如何变化的。我们发现，具有类脑层次化组织的网络在微调后较少受到灾难性遗忘的影响。