基于轨迹的数据归因有多忠实？误差来源、补救措施与实用指南
机器学习
2026-05-20 v1
摘要
基于轨迹的数据归因方法通过展开训练轨迹来估计训练样本对模型预测的影响。它们被广泛应用于数据选择、数据估值和模型诊断等任务，但缺乏对这些方法的全面误差分析，引发了对方法忠实度的担忧并阻碍了可靠部署。在本工作中，我们首次系统分析了基于轨迹数据归因中的误差来源，并提供了缓解误差的具体补救措施及面向下游使用的实用指南。我们将总误差分为三类：配置级、算法级和系统级。我们做出了三项贡献。首先，我们识别出优化器不匹配是主导的配置级误差：现有方法在 SGD 假设下推导归因，即使模型是使用现代事实标准优化器 AdamW 训练的。我们提出 AdamW-influence 以完全考虑 AdamW 的优化动力学，在涵盖 MLP、CNN、GPT-2 和 Llama 3.2-1B 的四种设置下，估计影响与真实影响之间的 Spearman 相关系数提升了 10% 至 300% 以上。其次，我们分离出由一阶 Taylor 近似引起的剩余算法级误差，确定学习率和轨迹长度是控制误差大小的因素，并推导出一个闭式误差代理，可在原始轨迹上评估而无需重新训练。第三，我们通过在 K 步前瞻框架下统一离线和在线策略，将这些见解转化为数据选择的实用指南。在此框架下，短视界的在线选择通常匹配或超过离线选择，且最优视界可与学习率联合调优。这些结果共同将该框架转化为面向从业者的可操作选择方案。
引用
@article{arxiv.2605.18814,
title = {How Faithful Is Trajectory-Based Data Attribution? Error Sources, Remedies, and Practical Guidelines},
author = {Junwei Deng and Pingbang Hu and Suliang Jin and Hao Lu and Jiachen T. Wang and Shichang Zhang and Jiaqi W. Ma},
journal= {arXiv preprint arXiv:2605.18814},
year = {2026}
}