CLIP：以更少数据更快训练

深度学习模型训练需要海量数据。然而，近来机器学习正从以模型为中心转向以数据为中心的方法。在以数据为中心的方法中，重点是精炼并提升数据质量以改进模型的学习性能，而非重新设计模型架构。本文提出 CLIP，即基于迭代数据剪枝的课程学习（Curriculum Learning with Iterative data Pruning）。CLIP 结合了两种以数据为中心的方法，即课程学习与数据集剪枝，以提升模型学习精度与收敛速度。所提方案应用损失感知的数据集剪枝，迭代移除最不重要的样本，并在课程学习训练中逐步缩减有效数据集规模。在人群密度估计模型上开展的广泛实验验证了结合这两种方法以减少收敛时间并改进泛化的思路。据我们所知，将数据剪枝作为课程学习中的嵌入式过程这一想法是新颖的。