训练实例影响的高效估计

理解训练实例对神经网络模型的影响有助于提高可解释性。然而，评估这种影响（即如果某个训练实例未被使用，模型的预测将如何变化）是困难且低效的。在本文中，我们提出了一种高效的影响估计方法。我们的方法受dropout启发，dropout将子网络置零并阻止该子网络学习每个训练实例。通过在dropout掩码之间切换，我们可以利用学习了或未学习每个训练实例的子网络来估计其影响。通过在分类数据集上使用BERT和VGGNet进行实验，我们证明了所提出的方法能够捕捉训练影响，增强错误预测的可解释性，并清理训练数据集以提高泛化能力。