CheckSel：通过在线检查点选择实现高效准确的数据估值
机器学习
2022-03-15 v1
摘要
数据估值与子集选择已成为针对特定应用筛选重要训练数据的有力工具。然而，最先进方法在效率与精度之间的权衡阻碍了它们在众多 AI 工作流中的广泛应用。本文针对该问题提出了一种新颖的两阶段解决方案。第一阶段从类 SGD 训练算法中选取代表性检查点，第二阶段利用这些检查点估计近似的训练数据价值，例如每个训练点所带来的验证损失下降量。本文的一项关键贡献是 CheckSel，一种受正交匹配追踪启发的在线稀疏近似算法，用于在线设置下的检查点选择，其中特征逐个揭示。另一项关键贡献是在域适应设置下研究数据估值，即利用源域训练数据集中训练轨迹的检查点所获得的数据价值估计器，对目标域训练数据集进行数据估值。在基准数据集上的实验结果表明，无论是在独立设置还是域适应设置下，所提算法在测试精度上较近期基线方法最高提升 30%，同时计算开销相近。
引用
@article{arxiv.2203.06814,
title = {CheckSel: Efficient and Accurate Data-valuation Through Online Checkpoint Selection},
author = {Soumi Das and Manasvi Sagarkar and Suparna Bhattacharya and Sourangshu Bhattacharya},
journal= {arXiv preprint arXiv:2203.06814},
year = {2022}
}