反向传播与大脑对图像反应的层级结构之间的错位

反向传播是深度学习的核心学习机制，但这种算法是否及如何在大脑中实现仍高度争议。特别是，尽管预训练模型的前向激活可靠地映射到视觉处理的大脑层级结构中，但反向传播的梯度是否 exhibit 类似对应关系尚不清楚。本文使用功能磁共振成像(fMRI)和脑磁图(MEG)记录的人类大脑对自然图像的反应，回答此问题。为此，我们将标准的编码分析扩展到前向激活，以将反向传播梯度映射到神经数据。我们聚焦于最近的自监督视觉模型(DINOv3)，并在八个视觉模型上复现了结果，我们发现反向传播梯度可可靠地预测 fMRI 和 MEG 信号，具体在高级视觉皮层和较晚延迟时段。然而，这些反向传播梯度在大脑中的空间和时间组织，与在生物学上合理的反向传播机制下预期的模式相左：具体而言，梯度计算的顺序及其空间组织均与人类大脑的时序和空间层级结构相左。总体而言，这些结果表明，尽管深度网络和大脑可能共享类似的表征内容，但它们可能依赖 fundamentally 不同的机制来学习这些表征。