中文

AMITE:一种用于分析神经网络非线性的新型多项式展开

机器学习 2021-11-25 v5 系统与控制 系统与控制 机器学习

摘要

多项式展开在神经网络非线性分析中十分重要。它们已被应用于解决验证、可解释性和安全性方面的已知难题。现有方法涵盖经典 Taylor 与 Chebyshev 方法、渐近分析以及众多数值方法。我们发现,尽管这些方法各自具有有用性质,如精确误差公式、可调定义域和对未定义导数的鲁棒性,但尚无提供一致方法以产生兼具所有这些性质之展开的途径。为此,我们提出了一种解析修正积分变换展开(AMITE),这是一种通过利用推导出的收敛判据进行修正的积分变换得到的新颖展开。我们给出一般展开式,随后针对两个常用激活函数双曲正切与修正线性单元进行应用演示。与用于此目的的现有展开(即 Chebyshev、Taylor 与数值展开)相比,AMITE 首个提供了六种此前互斥的期望展开性质,如系数的精确公式与展开的精确误差(表 II)。我们通过两个案例研究展示 AMITE 的有效性。首先,从单隐藏层黑盒多层感知机(MLP)中高效提取多元多项式形式,以基于含噪刺激-响应对 facilitating 等价性测试。其次,使用经 AMITE 多项式与误差公式改进的 Taylor 模型,对具有 3 至 7 层的多种前馈神经网络(FFNN)架构进行范围界定。AMITE 提出了一种新的展开方法维度,适用于神经网络中非线性的分析/逼近,为神经网络的理论分析与系统性测试开辟了新方向与机遇。

关键词

引用

@article{arxiv.2007.06226,
  title  = {AMITE: A Novel Polynomial Expansion for Analyzing Neural Network Nonlinearities},
  author = {Mauro J. Sanchirico and Xun Jiao and C. Nataraj},
  journal= {arXiv preprint arXiv:2007.06226},
  year   = {2021}
}

备注

13 pages, 2 tables, 9 figures, LaTeX; minor grammar updates, equation numbering, and exposition clarification updates