基于热带多面体的 ReLU 神经网络静态分析
机器学习
2021-08-24 v2 人工智能
摘要
本文研究前馈神经网络的范围分析问题，这是诸如神经网络鲁棒性、规范符合性以及神经网络反馈系统可达性分析等应用的基本原语。我们的方法聚焦于 ReLU（修正线性单元）前馈神经网络，其具有特定困难：利用导数的方法一般不适用，即使对于小型网络，神经元激活的模式数量也可能相当大，且凸近似通常过于粗糙。在本文中，我们采用在经典程序验证中成功应对类似困难的基于集合的方法与抽象解释。我们提出一种使用热带多面体抽象 ReLU 前馈神经网络的方法。我们表明热带多面体能够高效抽象 ReLU 激活函数，同时能够控制因线性计算导致的精度损失。我们展示了 ReLU 网络与热带有理函数之间的联系如何为 ReLU 神经网络的范围分析提供方法。
引用
@article{arxiv.2108.00893,
title = {Static analysis of ReLU neural networks with tropical polyhedra},
author = {Eric Goubault and Sébastien Palumby and Sylvie Putot and Louis Rustenholz and Sriram Sankaranarayanan},
journal= {arXiv preprint arXiv:2108.00893},
year = {2021}
}