通过进化抽样实现数据高效训练
机器学习
2025-09-30 v1 人工智能
机器学习
摘要
数据选择旨在通过保持性能来加速学习。为此，一个基本思想是识别具有对训练有重要贡献的有信息数据样本。在本工作中，我们提出了一种名为\textbf{进化抽样}（\textbf{ES}）的简单而有效的框架，用于\emph{动态}抽样沿训练过程。该方法基于损失和增强\emph{loss差异}的动态，进行\em批次\em级别的数据选择，这使我们能够实现灵活的\emph{频率调谐}，从而在保持模型性能的同时显著减少后向传播时间。由于其简洁性，ES也很容易扩展为包含\em集\em级别的数据选择（用于进一步加速，称为\textbf{ESWP}）。作为一个即插即用的框架，ES(WP)在各种预训练和后训练任务中始终实现了无损训练加速，节省了最长达45%的wall-clock时间。我们的结果激发了对现代大规模机器学习数据效率方面的进一步调查。
关键词
引用
@article{arxiv.2509.23461,
title = {Data-Efficient Training by Evolved Sampling},
author = {Ziheng Cheng and Zhong Li and Jiang Bian},
journal= {arXiv preprint arXiv:2509.23461},
year = {2025}
}