使用决策变量相关性量化任务相关的表征相似性

先前的研究已将视觉皮层中的神经活动与在图像分类任务上训练的深度神经网络中的表征进行了比较。有趣的是，尽管一些研究表明它们的表征高度相似，但另一些研究则持相反观点。在此，我们提出一种新方法，使用决策变量相关性（DVC）来表征两个观察者（模型或大脑）的决策策略的相似性。DVC 量化了在分类任务中基于内部神经表征解码出的决策之间的逐图像相关性。因此，它可以捕捉任务相关信息，而非一般的表征对齐。我们使用猕猴 V4/IT 记录和在图像分类任务上训练的网络模型来评估 DVC。我们发现，模型-模型相似性与猕猴-猕猴相似性相当，而模型-猕猴相似性始终较低。引人注目的是，DVC 随着网络在 ImageNet-1k 上性能的提高而降低。对抗训练虽然显著提高了模型-模型相似性，但并未改善使用 DVC 评估的任务相关维度上的模型-猕猴相似性。同样，在更大数据集上进行预训练也没有改善模型-猕猴相似性。这些结果表明，猕猴 V4/IT 中的任务相关表征与在图像分类任务上训练的模型所学习的表征之间存在差异。