中文

动态影响追踪器:测量训练过程中样本影响的时变特性

机器学习 2025-02-18 v1 人工智能 机器学习

摘要

现有测量训练样本对模型影响的方法仅提供静态的、整体的度量,忽略了样本影响在训练过程中的变化。我们提出了动态影响追踪器 (DIT),它能够捕捉训练过程中任意时间窗口内样本影响的时变特性。DIT 提供了三个关键洞见:1) 样本表现出不同的时变影响模式,部分样本在训练早期很重要,而其他样本在后期变得重要;2) 样本影响在早期和晚期阶段之间表现出弱相关性,表明模型经历了具有不同优先级的不同学习阶段;3) 与全训练过程分析相比,在收敛期间分析影响能更高效、准确地检测损坏样本。在无需假设损失凸性或模型收敛的理论保证支持下,DIT 显著优于现有方法,在复杂架构中实现了高达 0.99 的与真实值的相关性,以及 98% 以上的损坏样本检测准确率。

关键词

引用

@article{arxiv.2502.10793,
  title  = {Dynamic Influence Tracker: Measuring Time-Varying Sample Influence During Training},
  author = {Jie Xu and Zihan Wu},
  journal= {arXiv preprint arXiv:2502.10793},
  year   = {2025}
}