影响力动力学与分阶段数据归因
机器学习
2025-10-15 v1
摘要
当前的训练数据归因(TDA)方法将样本对另一个样本的影响视为静态的，但神经网络在不同阶段学习，表现出变化的影响模式。本文引入一种基于奇异学习理论的分阶段数据归因框架。我们预测影响力会以非单调方式变化，包括符号翻转和发展转折处的尖锐峰值。我们首先在玩具模型中通过分析和实证验证这些预测，表明影响力的动态变化直接映射到模型对语义层次结构的渐进学习。最后，我们在语言模型中展示了这些现象，其中词级别的影响力变化与已知的发展阶段相吻合。
引用
@article{arxiv.2510.12071,
title = {Influence Dynamics and Stagewise Data Attribution},
author = {Jin Hwa Lee and Matthew Smith and Maxwell Adam and Jesse Hoogland},
journal= {arXiv preprint arXiv:2510.12071},
year = {2025}
}
备注
28 pages, 15 figures