平凡或不可能——二分类数据难度掩盖了模型差异（在 ImageNet 及更广义上）
计算机视觉与模式识别
2022-04-29 v3 人工智能
机器学习
神经元与认知
摘要
“泛化系统的能力直接源于其偏置”（Mitchell 1980）。如今，CNN 是极其强大的泛化系统——但我们在多大程度上理解了它们的归纳偏置如何影响模型决策？我们在此尝试厘清决定模型如何决策的各种因素。具体而言，我们追问：是什么使一个模型做出与另一个模型不同的决策？在一个精心控制的设定中，我们发现（1.）无论网络架构或目标如何（例如自监督、半监督、视觉 Transformer、循环模型），所有模型最终都得到相似的决策边界。（2.）为理解这些发现，我们按轮次和逐图像分析了模型在 ImageNet 验证集上的决策。我们发现 ImageNet 验证集等数据集存在二分类数据难度（DDD）：在所研究的模型范围及其准确率下，其由 46.0% 的“平凡”图像和 11.5% 的“不可能”图像（除标签错误外）主导。仅 42.5% 的图像可能负责两个模型决策边界之间的差异。（3.）仅移除“不可能”和“平凡”图像，我们才能看到模型间显著的差异。（4.）人类在预测哪些图像对 CNN 是“平凡”和“不可能”的方面高度准确（81.4%）。这意味着在未来对大脑、机器和行为的比较中，研究图像的决定性作用及其难度分布可能大有裨益。
引用
@article{arxiv.2110.05922,
title = {Trivial or impossible -- dichotomous data difficulty masks model differences (on ImageNet and beyond)},
author = {Kristof Meding and Luca M. Schulze Buschoff and Robert Geirhos and Felix A. Wichmann},
journal= {arXiv preprint arXiv:2110.05922},
year = {2022}
}
备注
Published as a conference paper at ICLR 2022