通过语义保持变换严格理解神经网络
神经与进化计算
2023-05-01 v2 符号计算
摘要
在本文中，我们提出一种代数方法，用于对整流神经网络（Rectifier Neural Networks，一类分段线性神经网络（PLNNs）的子类，即语义上表示分段仿射函数的网络）进行精确且全局的验证与解释。我们方法的关键在于这些网络的符号执行，其允许构建语义等价的类型化仿射决策结构（Typed Affine Decision Structures，TADS）。由于其确定性与顺序性，TADS可如同决策树一样被视为白盒模型，因此可作为模型与结果解释问题的精确解。TADS是线性代数结构，这使得人们能够优雅地比较整流网络是否等价或相似，在失败时给出精确诊断信息，并通过精确刻画被特定分类的输入集合或两个基于网络的分类器相异的输入集合来刻画其分类潜力。所有现象均沿一个最小且具说明性的例子——连续XOR函数——的详细讨论加以阐明。
引用
@article{arxiv.2301.08013,
title = {Towards Rigorous Understanding of Neural Networks via Semantics-preserving Transformations},
author = {Maximilian Schlüter and Gerrit Nolte and Alnis Murtovi and Bernhard Steffen},
journal= {arXiv preprint arXiv:2301.08013},
year = {2023}
}
备注
To appear in Software Tools for Technology Transfer