HOPE：黑盒神经网络的高阶多项式展开
机器学习
2023-07-18 v1 人工智能
摘要
尽管深度神经网络性能卓越，但其大多仍是“黑盒”，意味着不可解释性，并阻碍其在需要理性决策的领域的广泛应用。本文提出 HOPE（高阶多项式展开，High-order Polynomial Expansion），一种将网络在参考输入上展开为高阶泰勒多项式的方法。具体而言，我们推导了复合函数的高阶导数法则，并将其推广至神经网络以快速准确地获得其高阶导数。由这些导数，我们可进一步导出神经网络的泰勒多项式，从而提供网络局部解释性的显式表达。数值分析证实了该方法的高精度、低计算复杂度和良好收敛性。此外，我们展示了 HOPE 在基于深度学习的广泛应用，包括函数发现、快速推理和特征选择。代码见 https://github.com/HarryPotterXTX/HOPE.git。
引用
@article{arxiv.2307.08192,
title = {HOPE: High-order Polynomial Expansion of Black-box Neural Networks},
author = {Tingxiong Xiao and Weihang Zhang and Yuxiao Cheng and Jinli Suo},
journal= {arXiv preprint arXiv:2307.08192},
year = {2023}
}