LiveVal: 通过自适应参考点实现时间敏感的数据估值
机器学习
2025-02-18 v1 人工智能
摘要
时间敏感的数据估值可增强训练效率和模型鲁棒性，因为及时发现有害样本可防止数月的无效计算。然而，现有方法依赖模型重新训练或收敛假设，或未能捕获长期训练动力学。我们提出了 LiveVal，一种高效的时间敏感数据估值方法，包含三个关键设计：1) 与 SGD 训练无缝集成，用于高效的数据贡献监控；2) 基于参考的估值与归一化，用于可靠的基准建立；3) 自适应参考点选择，用于优化内存使用实现实时更新。我们为 LiveVal 的稳定性提供了理论保证，并证明其估值受优化进度的有界性和方向性对齐。广泛实验表明，LiveVal 在不同模态和模型规模方面提供高效数据估值，相较于传统方法实现了 180 倍的加速，同时保持稳健的检测性能。
引用
@article{arxiv.2502.10489,
title = {LiveVal: Time-aware Data Valuation via Adaptive Reference Points},
author = {Jie Xu and Zihan Wu and Cong Wang and Xiaohua Jia},
journal= {arXiv preprint arXiv:2502.10489},
year = {2025}
}