超越准确率：通过误差一致性量化 CNN 与人类试次水平的行为
计算机视觉与模式识别
2020-12-21 v3 机器学习
神经元与认知
定量方法
摘要
在认知科学与行为神经科学以及机器学习与人工智能研究中，一个核心问题是确定两个或多个决策者（无论是大脑还是算法）是否使用相同的策略。仅凭准确率无法区分策略：两个系统可能以非常不同的策略达到相似的准确率。如果两个系统接近性能上限，如卷积神经网络（CNN）与人类在视觉物体识别上，这种超越准确率进行区分的需求尤为迫切。在此我们引入试次水平误差一致性，一种用于衡量两个决策系统是否在相同输入上系统性犯错的定量分析。在试次基础上犯一致错误是决策者之间具有相似处理策略的必要条件。我们的分析适用于算法与算法、人类与人类以及算法与人类之间的比较。将误差一致性应用于物体识别时，我们得到三个主要发现：（1.）无论架构如何，CNN 彼此之间具有显著的一致性。（2.）然而，CNN 与人类观察者之间的一致性仅略高于随机期望水平——表明人类与 CNN 很可能采用非常不同的策略。（3.）CORnet-S，一个被称为“灵长类腹侧视觉流当前最佳模型”的循环模型，未能捕捉人类行为数据的基本特征，在我们的分析中其表现本质上类似于标准的纯前馈 ResNet-50。综上，误差一致性分析表明人类与机器视觉所使用的策略仍然非常不同——但我们设想这一通用目的的误差一致性分析能作为量化未来进展的有力工具。
引用
@article{arxiv.2006.16736,
title = {Beyond accuracy: quantifying trial-by-trial behaviour of CNNs and humans by measuring error consistency},
author = {Robert Geirhos and Kristof Meding and Felix A. Wichmann},
journal= {arXiv preprint arXiv:2006.16736},
year = {2020}
}
备注
NeurIPS 2020 camera ready