CNN 训练中简单与困难样本的经验研究
计算机视觉与模式识别
2022-06-14 v1
摘要
深度神经网络（DNNs）尽管规模庞大且能够记住所有样本，却具有良好的泛化能力。有一种假设认为 DNNs 从简单模式开始学习，该假设基于这样一些样本的存在：在训练早期阶段始终被良好分类的样本（即简单样本）以及被误分类的样本（即困难样本）。简单样本是 DNNs 从特定模式开始学习且存在一致学习过程的证据。了解 DNNs 如何学习模式并获得泛化能力十分重要，然而简单与困难样本的性质尚未被深入探究（例如对泛化的贡献和视觉外观）。本工作中，我们针对不同卷积神经网络（CNN）架构分别研究了简单与困难样本的相似性，评估这些样本对泛化的贡献。我们的结果表明，简单样本彼此视觉相似，而困难样本视觉上多样，且这两类样本在不同 CNN 架构间大体共享。此外，尽管困难样本往往比简单样本对泛化贡献更大，但移除大量简单样本会导致泛化变差。通过分析这些结果，我们推测数据集中的偏差和随机梯度下降（SGD）是 CNNs 具有一致的简单和困难样本的原因。进一步，我们展示了利用本工作提出的易学性可高效压缩大规模分类数据集。
引用
@article{arxiv.1911.10739,
title = {Empirical Study of Easy and Hard Examples in CNN Training},
author = {Ikki Kishida and Hideki Nakayama},
journal= {arXiv preprint arXiv:1911.10739},
year = {2022}
}
备注
Accepted to ICONIP 2019