Simfluence：通过模拟训练过程建模单个训练样本的影响

训练数据归因（TDA）方法旨在将模型对任意给定样本的预测追溯至特定的有影响的训练样本。现有方法在影响是可加和的简化假设下，为每个训练样本分配一个标量影响分数。但在现实中，我们观察到由于样本间冗余、训练顺序和课程学习效应等因素，训练样本以高度非可加的方式相互作用。为研究此类交互，我们提出 Simfluence，一种 TDA 新范式，其目标不是为每个样本产生单一影响分数，而是产生一个训练过程模拟器：用户问“若我的模型先训练样本 $z_1$，然后 $z_2$，……，然后 $z_n$，它在 $z_{test}$ 上会如何表现？”；模拟器随后应输出一个模拟训练过程，即一个预测模拟过程每一步中 $z_{test}$ 上损失的时间序列。这使用户能够回答反事实问题：模型在不同训练课程下会学到什么，并直接看到该学习在训练何处发生。我们提出一个模拟器 Simfluence-Linear，其捕捉非可加交互，且常能以惊人的保真度预测单个样本损失的尖峰轨迹。此外，我们表明现有的 TDA 方法如 TracIn 和影响函数可视为 Simfluence-Linear 的特例。这使我们能直接按模拟精度比较方法，从而将若干先前的 TDA 评估方法纳入其中。在大型语言模型（LLM）微调的实验中，我们表明我们的方法在多个任务、模型和训练方法上以远高于现有 TDA 方法的精度预测损失轨迹（Spearman 相关性翻倍并将均方误差降低 75%）。