HYDRA：用于解释深度神经网络的超梯度数据相关性分析
机器学习
2025-04-29 v7
摘要
深度神经网络(DNNs)的行为 notoriously 难以被人解释。本文中，我们提出超梯度数据相关性分析，即HYDRA，将DNN做出的预测解释为其训练数据的效应。现有方法通常围绕最终模型参数估计数据贡献，而忽略训练数据如何塑造优化轨迹。通过展开测试损失关于训练数据权重的超梯度，HYDRA评估了在整个训练轨迹上训练数据对测试数据点的贡献。为加速计算，我们从计算中去除Hessian矩阵，并证明在适度条件下近似误差是有界的。证实该理论断言的是，实证结果表明误差确实很小。此外，我们定量地证明HYDRA在准确估计数据贡献和检测含噪数据标签方面优于影响函数。源代码可在https://github.com/cyyever/aaai_hydra_8686获取。
引用
@article{arxiv.2102.02515,
title = {HYDRA: Hypergradient Data Relevance Analysis for Interpreting Deep Neural Networks},
author = {Yuanyuan Chen and Boyang Li and Han Yu and Pengcheng Wu and Chunyan Miao},
journal= {arXiv preprint arXiv:2102.02515},
year = {2025}
}