大型神经网络在极少数据且无显式正则化条件下从零开始学习
计算机视觉与模式识别
2022-10-24 v2 人工智能
机器学习
神经与进化计算
摘要
近期研究发现，高度过参数化的神经网络无需预训练或显式正则化即可泛化。这是通过零训练误差，即通过对训练数据的完全过拟合（记忆）来实现的。这令人惊讶，因为它完全违背了传统的机器学习常识。在我们的实证研究中，我们在细粒度图像分类领域巩固了这些发现。我们表明，拥有数百万权重的超大型卷积神经网络确实仅用少量训练样本，且无需图像增强、显式正则化或预训练即可学习。我们在具有100个及以上类别的困难基准数据集 Caltech101、CUB_200_2011、FGVCAircraft、Flowers102 和 StanfordCars 的子集上训练了 ResNet018、ResNet101 和 VGG19 架构，进行了全面的比较研究，并得出了关于 CNN 实际应用的意义。最后，我们展示了具有1.4亿权重的随机初始化 VGG19 仅使用每类20个训练样本，就能以高达95%的准确率区分飞机和摩托车。
引用
@article{arxiv.2205.08836,
title = {Large Neural Networks Learning from Scratch with Very Few Data and without Explicit Regularization},
author = {Christoph Linse and Thomas Martinetz},
journal= {arXiv preprint arXiv:2205.08836},
year = {2022}
}
备注
11 pages, 3 figures, 4 tables