我们能从误分类的ImageNet图像中学到什么？
计算机视觉与模式识别
2022-01-21 v1
摘要
理解ImageNet误分类图像的模式尤为重要，因为它可以指导我们设计泛化能力更好的深度神经网络(DNN)。然而，ImageNet的丰富性给研究者直观发现任何有用的误分类模式带来了困难。为此，为帮助发现这些模式，我们提出了“ImageNet超类数据集”。它是ImageNet的一个子集，由10个超类组成，每个超类包含7-116个相关子类（例如52种鸟类、116种狗类）。通过在该数据集上训练神经网络，我们发现：(i) 误分类很少跨超类发生，而主要在超类内部的子类之间。(ii) 仅在给定超类的子类上分别训练的集成网络，优于在所有超类的所有子类上训练的相同网络。因此，我们提出了两阶段Super-Sub框架，并证明：(i) 该框架通过先用通用超类级网络推断超类，再用专用网络进行最终子类级分类，将整体分类性能提升了3.3%。(ii) 尽管与单一网络相比，N个超类的总参数存储成本增加到N+1倍，但借助微调、delta和量化感知训练技术，可降至0.2N+1。这种高效实现的另一优势是推理时GPU上的内存成本等同于仅使用一个网络。原因是我们通过对超类级网络添加小的参数变化（deltas）来初始化每个子类级网络。(iii) 最后，由于非常大的网络常受过拟合和梯度消失困扰，我们的框架比单纯扩大普通网络规模的常见替代方案更具可扩展性和泛化性。
引用
@article{arxiv.2201.08098,
title = {What can we learn from misclassified ImageNet images?},
author = {Shixian Wen and Amanda Sofie Rios and Kiran Lekkala and Laurent Itti},
journal= {arXiv preprint arXiv:2201.08098},
year = {2022}
}