争议性刺激：将神经网络相互对抗作为人类识别的模型
计算机视觉与模式识别
2020-11-25 v2 神经元与认知
摘要
不同的科学理论可能做出相似的预测。为裁决理论优劣，我们必须设计使理论做出不同预测的实验。本文考虑将深度神经网络作为人类视觉识别模型进行比较的问题。为高效比较模型预测人类响应的能力，我们合成争议性刺激：即不同模型产生不同响应的图像。我们将此方法应用于两个视觉识别任务——手写数字（MNIST）与小尺寸自然图像中的物体（CIFAR-10）。对每个任务，我们合成争议性刺激以最大化采用不同架构与识别算法的模型间分歧。人类受试者观看了数百张此类刺激以及自然样本，并判断每张图像中每个数字/物体类别出现的概率。我们量化了每个模型预测人类判断的准确程度。表现最佳的模型分别为：MNIST上基于变分自编码器的生成式分析-合成（Analysis-by-Synthesis）模型，以及CIFAR-10上的判别-生成混合联合能量模型（Joint Energy Model）。这些对图像分布建模的DNNs，表现优于仅学习将图像映射到标签的纯判别式DNNs。候选模型均未能完全解释人类响应。争议性刺激推广了对抗样本的概念，免去假设真值模型的需要。与自然图像不同，争议性刺激不受模型所训练的刺激分布约束，从而提供揭示模型归纳偏置的极端分布外测试。因此，争议性刺激为探测模型与人类感知间差异提供了有力工具。
引用
@article{arxiv.1911.09288,
title = {Controversial stimuli: pitting neural networks against each other as models of human recognition},
author = {Tal Golan and Prashant C. Raju and Nikolaus Kriegeskorte},
journal= {arXiv preprint arXiv:1911.09288},
year = {2020}
}