镜像影响假设：利用前向传播进行高效数据影响估计

大规模黑盒模型已在众多应用中变得无处不在。理解单个训练数据源对这些模型所做预测的影响对于提高其可信度至关重要。当前的影响估计技术涉及为每个训练点计算梯度或在不同的子集上进行重复训练。当扩展到大型数据集和模型时，这些方法面临明显的计算挑战。在本文中，我们引入并探索了镜像影响假设，强调了训练数据和测试数据之间影响的对等性。具体来说，它表明评估训练数据对测试预测的影响可以被重新表述为一个等价但逆向的问题：即评估如果模型在特定的测试样本上进行训练，其对训练样本的预测将如何改变。通过实证和理论验证，我们证明了该假设的广泛适用性。受此启发，我们引入了一种新的训练数据影响估计方法，该方法需要为特定测试样本计算梯度，并对每个训练点进行一次前向传播。这种方法可以利用常见的不对称性场景，即同时检查的测试样本数量远小于训练数据集的规模，从而与现有方法相比在效率上获得显著提升。我们展示了该方法在多种场景下的适用性，包括扩散模型中的数据归因、数据泄露检测、记忆分析、错误标记数据检测以及语言模型中的行为追踪。我们的代码将在https://github.com/ruoxi-jia-group/Forward-INF上提供。