部分前向阻塞：无损训练加速的新型数据剪枝范式
计算机视觉与模式识别
2025-07-01 v1
摘要
不断增长的训练数据集大小提高了现代机器学习模型的泛化能力，但也带来了高昂的计算成本。现有的做法通过移除不够重要的样本来加速训练，但它们往往依赖梯度或代理模型，导致梯度反向传播和代理模型训练的额外成本不可接受。在本文中，我们提出了部分前向阻塞 (Partial Forward Blocking, PFB)，一种用于无损训练加速的新型框架。PFB 的效率源于其独特的自适应剪枝管线：基于目标模型浅层提取的特征来评估样本重要性。随后对不够重要的样本进行剪枝，仅允许保留下来的样本继续进行后续的前向传播和损失反向传播。该机制显著减少了深度层前向传播和反向传播对于被剪枝样本的计算开销，同时消除了对额外反向计算和代理模型训练的需求。此外，PFB 将概率密度作为样本重要性的指示器。结合自适应分布估计模块，我们的方法动态地优先考虑相对稀有的样本，这与不断演变的训练状态相吻合。广泛的实验表明，PFB 在性能和速度方面具有显著优势。在 ImageNet 上，PFB 以 40% 数据被剪枝的情况下，实现了 0.5% 的精度提升和 33% 的训练时间缩减。
引用
@article{arxiv.2506.23674,
title = {Partial Forward Blocking: A Novel Data Pruning Paradigm for Lossless Training Acceleration},
author = {Dongyue Wu and Zilin Guo and Jialong Zuo and Nong Sang and Changxin Gao},
journal= {arXiv preprint arXiv:2506.23674},
year = {2025}
}
备注
Accepted by ICCV2025