基于神经正切核代理模型的忠实且高效神经网络解释方法
机器学习
2024-03-13 v5
摘要
可解释AI研究近期的一个趋势聚焦于代理建模，其中神经网络被近似为更简单的ML算法（如核机器）。第二个趋势是在各种基于样例解释或数据归因任务中利用核函数。在本工作中，我们结合这两个趋势来分析用于数据归因的近似经验神经正切核（eNTK）。由于计算eNTK的高计算成本，近似对eNTK分析至关重要。我们定义新的近似eNTK，并对所得核机器代理模型与底层神经网络的关联程度进行新颖分析。我们引入两种新的近似eNTK随机投影变体，允许用户调节其计算的时间与内存复杂度。我们得出结论：使用近似神经正切核作为核函数的核机器是有效的代理模型，其中引入的迹NTK表现最为稳定。允许用户在PyTorch框架中高效计算核函数的开源软件已可用（https://github.com/pnnl/projection_ntk）。
引用
@article{arxiv.2305.14585,
title = {Faithful and Efficient Explanations for Neural Networks via Neural Tangent Kernel Surrogate Models},
author = {Andrew Engel and Zhichao Wang and Natalie S. Frank and Ioana Dumitriu and Sutanay Choudhury and Anand Sarwate and Tony Chiang},
journal= {arXiv preprint arXiv:2305.14585},
year = {2024}
}
备注
9 pages, 2 figures, 3 tables Updated 3/11/2024 various additions/clarifications after ICLR review. Accepted as a Spotlight paper at ICLR 2024