Z0-Inf：数据影响的零阶近似
机器学习
2025-10-15 v1
摘要
分析和改进现代机器学习系统的关键方面在于理解单个训练样本如何影响模型的预测行为。估计这种影响可以实现关键应用，包括数据选择和模型调试；特别是自影响，它量化了一个训练点对其自身的影响，在数据质量评估和异常检测中找到了许多用途。然而，现有的测量数据影响的方法通常由于低精度或 prohibitive 计算成本而不适用于大型模型：大多数方法要么提供较差的近似，要么依赖于梯度和逆黑塞矩阵计算，而这些计算在扩展时仍然具有挑战性。在这项工作中，我们引入了一种高效的零阶近似方法来估计训练数据的影响，该方法仅需先前方法的一小部分时间和内存占用。值得注意的是，我们的方法仅依赖于训练和测试数据上中间检查点的损失值以及检查点本身，即使感兴趣的损失函数不可微也具有广泛适用性。除了计算效率之外，我们的方法在估计自影响方面实现了更优的精度，在估计微调大型语言模型的训练-测试影响方面实现了可比或更优的精度，从而实现了对训练数据如何塑造模型行为的可扩展和实用分析。
引用
@article{arxiv.2510.11832,
title = {Z0-Inf: Zeroth Order Approximation for Data Influence},
author = {Narine Kokhlikyan and Kamalika Chaudhuri and Saeed Mahloujifar},
journal= {arXiv preprint arXiv:2510.11832},
year = {2025}
}