改进在小数据集上训练的 ResNet-9 的泛化能力
机器学习
2025-05-27 v1 计算与语言
计算机视觉与模式识别
摘要
本文介绍了我们在 ICLR 硬件感知高效训练竞赛中获得一等奖的提出方法。该挑战要求在不到 10 分钟内于图像分类任务中达到尽可能高的准确率。训练在从 CIFAR-10 数据集中随机选取的 5000 张图像的小数据集上进行。评估由竞赛组织者在包含 1000 张相同尺寸图像的秘密数据集上执行。我们的方法包括应用一系列技术来改进 ResNet-9 的泛化能力，包括：锐度感知优化、标签平滑、梯度中心化、输入块白化以及基于元学习的训练。我们的实验表明，ResNet-9 在不到 10 分钟的时间内仅在 CIFAR-10 数据集 10% 子集上训练即可达到 88% 的准确率。
引用
@article{arxiv.2309.03965,
title = {Improving Resnet-9 Generalization Trained on Small Datasets},
author = {Omar Mohamed Awad and Habib Hajimolahoseini and Michael Lim and Gurpreet Gosal and Walid Ahmed and Yang Liu and Gordon Deng},
journal= {arXiv preprint arXiv:2309.03965},
year = {2025}
}