无数据增强?小数据集上有效训练的替代正则化方法
计算机视觉与模式识别
2023-09-06 v1 人工智能
机器学习
摘要
在给定小型训练数据集的情况下解决图像分类任务仍是现代计算机视觉的一个开放挑战。激进的数据增强与生成模型是克服数据匮乏最直接的方法之一。然而,前者无法对变化的图像域保持不可知,而后者需要额外计算与细致设计。本工作中,我们研究替代正则化策略以推进小图像分类数据集上监督学习的极限。具体而言,结合模型规模与训练调度缩放,我们采用一种启发式方法,通过模型参数的范数选取(半)最优学习率与权重衰减组合。仅在原始CIFAR-10训练集的1%(即每类50张图像)上训练并在ciFAIR-10(去重后的原始CIFAR变体)上测试,我们达到了66.5%的测试准确率,与最佳SOTA方法相当。
引用
@article{arxiv.2309.01694,
title = {No Data Augmentation? Alternative Regularizations for Effective Training on Small Datasets},
author = {Lorenzo Brigato and Stavroula Mougiakakou},
journal= {arXiv preprint arXiv:2309.01694},
year = {2023}
}
备注
4th Visual Inductive Priors for Data-Efficient Deep Learning Workshop, ICCVW 2023