一种用于高效训练与更优泛化的简单非独立同分布采样方法
计算机视觉与模式识别
2020-10-16 v2 人工智能
机器学习
摘要
尽管在独立同分布样本上训练已成为优化图像分类网络的事实范式，人类以由易到难的方式并在渐进筛选的样例上学习新概念。受此事实驱动，我们研究了样本并非从独立同分布中抽取的训练范式。我们提出一种名为丢弃与刷新(Drop-and-Refresh, DaR)的数据采样策略，其动机来自人类选择性丢弃简单样本并仅周期性刷新的学习行为。我们在实验中表明，所提 DaR 策略在多个数据集(CIFAR 10、CIFAR 100 和 ImageNet)和不同骨干架构(ResNets、DenseNets 和 MobileNets)上即使训练成本降低 15% 也能保持(且在许多情况下提升)预测精度。此外或许更重要的是，我们发现使用我们的 DaR 采样策略进行 ImageNet 预训练的模型对下游任务具有更好的可迁移性，包括目标检测(+0.3 AP)、实例分割(+0.3 AP)、场景解析(+0.5 mIoU)和人体姿态估计(+0.6 AP)。我们的研究鼓励人们重新思考训练采样策略与其所学特征在 ImageNet 模型预训练中的可迁移性之间的联系。
引用
@article{arxiv.1811.09347,
title = {A Simple Non-i.i.d. Sampling Approach for Efficient Training and Better Generalization},
author = {Bowen Cheng and Yunchao Wei and Jiahui Yu and Shiyu Chang and Jinjun Xiong and Wen-Mei Hwu and Thomas S. Huang and Humphrey Shi},
journal= {arXiv preprint arXiv:1811.09347},
year = {2020}
}
备注
Technical report