迈向可持续学习：面向数据高效深度学习的核心集方法
机器学习
2023-06-05 v1
摘要
为提升深度模型学习的效率与可持续性，我们提出 CREST——首个具有严格理论保证的可扩展框架，用于识别训练非凸模型（特别是深度网络）最具价值的样本。为保证收敛至非凸函数的驻点，CREST 将非凸损失建模为一系列二次函数，并为每个二次子区域提取核心集。此外，为确保（小批量）SGD 等随机梯度方法的更快收敛，CREST 从更大的训练数据随机子集中迭代提取多个小批量核心集，以获得近似无偏且小方差的梯度。最后，为进一步提升可扩展性与效率，CREST 识别并排除已从核心集选择流程中学会的样本。我们在若干深度网络于视觉与 NLP 数据集（包括 CIFAR-10、CIFAR-100、TinyImageNet 和 SNLI）上的大量实验证实，CREST 以最小性能损失将深度网络在极大数据集上的训练加速 1.7 倍至 2.5 倍。通过分析 CREST 所选子集的学习难度，我们表明深度模型从难度递增的子集中获益最大。
引用
@article{arxiv.2306.01244,
title = {Towards Sustainable Learning: Coresets for Data-efficient Deep Learning},
author = {Yu Yang and Hao Kang and Baharan Mirzasoleiman},
journal= {arXiv preprint arXiv:2306.01244},
year = {2023}
}