渐进式数据丢弃：一种极其简单的加速训练方法
计算机视觉与模式识别
2025-10-27 v3 机器学习
摘要
机器学习领域的成功一直可靠地依赖于在大型数据集上进行训练。虽然有效，但这一趋势伴随着极高的成本。这归因于两个深度交织的因素：模型的规模和数据集的规模。尽管有前景的研究工作集中在减小模型规模上，但等式的另一半仍然相当神秘。事实上，令人惊讶的是，标准的训练方法仍然是反复均匀地采样训练数据集。在本文中，我们探索了一系列替代训练范式，这些范式利用了 hard-data-mining 和 dropout 的见解，其实现和使用足够简单，可以成为新的训练标准。所提出的 Progressive Data Dropout 将有效 epoch 数量减少至基线的 12.4%。这种节省实际上不以任何准确率为代价。令人惊讶的是，所提出的方法将准确率提高了最多 4.82%。我们的方法不需要更改模型架构或优化器，并且可应用于标准训练流程，从而为广泛采用提供了绝佳机会。代码可在此处找到：https://github.com/bazyagami/LearningWithRevision
引用
@article{arxiv.2505.22342,
title = {Progressive Data Dropout: An Embarrassingly Simple Approach to Faster Training},
author = {Shriram M Sathiyanarayanan and Xinyue Hao and Shihao Hou and Yang Lu and Laura Sevilla-Lara and Anurag Arnab and Shreyank N Gowda},
journal= {arXiv preprint arXiv:2505.22342},
year = {2025}
}