用于机器学习模型数据高效训练的核集方法
机器学习
2020-11-18 v3 人工智能
机器学习
摘要
增量梯度（IG）方法，如随机梯度下降及其变体，常用于机器学习中的大规模优化。尽管人们持续努力提升 IG 方法的数据效率，如何选取一个训练数据子集使其在理论与实践中均与完整数据集表现相当，仍是一个开放问题。在此我们提出 CRAIG，一种通过最大化子模函数选取加权子集（或核集）的方法，该子集可紧密估计完整梯度。我们证明，将 IG 应用于该子集可保证以与凸优化下 IG 相同的收敛速率收敛至（近）最优解。因此，CRAIG 实现的加速与子集大小成反比。据我们所知，这是首个面向通用机器学习模型数据高效训练的严格方法。我们大量实验表明，CRAIG 在取得几乎相同解的同时，将逻辑回归的各类 IG 方法加速至多 6 倍，将深度神经网络训练加速至多 3 倍。
引用
@article{arxiv.1906.01827,
title = {Coresets for Data-efficient Training of Machine Learning Models},
author = {Baharan Mirzasoleiman and Jeff Bilmes and Jure Leskovec},
journal= {arXiv preprint arXiv:1906.01827},
year = {2020}
}