在可学习、值得学习且尚未学习的点上优先训练（ workshop 版本）
机器学习
2023-10-18 v4 信息论
math.IT
摘要
我们提出了 Goldilocks Selection，一种通过选择“刚刚好”的训练点序列来加速模型训练的技术。我们提出了一种信息论获取函数——可约验证损失（reducible validation loss）——并用一个小型代理模型 GoldiProx 来计算它，以高效选择能最大化关于验证集信息的训练点。我们表明，优化文献中通常选择的“困难”（如高损失）点往往是噪声，而为课程学习所优先的“简单”（如低噪声）样本提供的信息较少。此外，主动学习通常针对的具有不确定标签的点，往往与任务相关性较低。相比之下，Goldilocks Selection 选择“刚刚好”的点，并在经验上优于上述方法。而且，所选序列可迁移到其他架构；实践者可以共享和复用它，而无需重新创建。
引用
@article{arxiv.2107.02565,
title = {Prioritized training on points that are learnable, worth learning, and not yet learned (workshop version)},
author = {Sören Mindermann and Muhammed Razzak and Winnie Xu and Andreas Kirsch and Mrinank Sharma and Adrien Morisot and Aidan N. Gomez and Sebastian Farquhar and Jan Brauner and Yarin Gal},
journal= {arXiv preprint arXiv:2107.02565},
year = {2023}
}