基于反向梯度匹配的蒸馏数据模型

大规模 AI 模型在广泛数据集上训练的激增已经彻底改变了机器学习。随着这些模型在各种应用中扮演越来越核心的角色，理解其行为并增强可解释性的需求变得至关重要。为了研究训练数据变化对预训练模型的影响，一种常见的方法是留一法重训练。这涉及通过移除特定样本来系统地改变训练数据集，以观察模型内产生的变化。然而，为每个改变的数据集重训练模型带来了巨大的计算挑战，因为需要对每个数据集变体执行此操作。在本文中，我们引入了一个高效的数据影响评估框架，包括离线训练和在线评估阶段。在离线训练阶段，我们通过蒸馏合成集来近似训练数据对目标模型的影响，将其表述为一个反向梯度匹配问题。对于在线评估，我们使用合成集加速留一法过程，然后基于评估目标计算归因矩阵。实验评估，包括训练数据归因和数据质量评估，表明我们提出的方法在显著加速过程的同时，实现了与直接重训练方法相当的模型行为评估。