重新审视影响函数的脆弱性
机器学习
2023-04-10 v2 人工智能
机器学习
其他统计学
摘要
近年来，许多工作试图解释深度学习模型的预测。然而，少有方法被提出以验证这些解释的准确性或忠实性。最近，影响函数（一种近似留一训练对损失函数影响的方法）被证明是脆弱的。其脆弱性的成因仍不明确。尽管先前工作建议采用正则化以增强鲁棒性，但这并非在所有情况下都成立。本工作中，我们试图考察先前工作的实验，以理解影响函数脆弱性的潜在机制。首先，在影响函数凸性假设满足的条件下，我们使用文献中的流程验证影响函数。随后，我们放宽这些假设，通过使用更深的模型与更复杂的数据集研究非凸性的影响。此处，我们分析了用于验证影响函数的关键度量与流程。我们的结果表明，验证流程可能导致所观察到的脆弱性。
引用
@article{arxiv.2303.12922,
title = {Revisiting the Fragility of Influence Functions},
author = {Jacob R. Epifano and Ravi P. Ramachandran and Aaron J. Masino and Ghulam Rasool},
journal= {arXiv preprint arXiv:2303.12922},
year = {2023}
}
备注
11 pages, 5 figures, published in Neural Networks