计算神经网络的线性限制
机器学习
2019-12-09 v2 机器学习
摘要
函数的线性限制是指将该函数定义域限制于给定直线上的点后得到的同一函数。本文研究计算分段线性神经网络的线性限制的简洁表示这一问题。这一原语，我们称之为 ExactLine，使我们能够精确刻画网络应用于直线上无穷多个点的结果。特别地，ExactLine 计算给定输入线段的划分，使得网络在每个划分上均为仿射的。我们提出了一种高效算法，用于计算使用 ReLU、MaxPool、批归一化、全连接、卷积及其他层的网络的 ExactLine，并给出了若干应用。首先，我们展示如何精确确定 ACAS Xu 神经网络的决策边界，与先前在输入空间有限采样点的方法相比，显著提升了结果的可信度。接着，我们演示如何精确计算积分梯度（常用于神经网络归因），从而表明先前的基于启发式的方法具有 25-45% 的相对误差，并展示更好的采样方法可用更少计算获得更高精度。最后，我们利用 ExactLine 从经验上证伪了关于对抗样本的一个著名假设背后的核心前提，并在此过程中识别出对抗训练网络的有趣性质。
引用
@article{arxiv.1908.06214,
title = {Computing Linear Restrictions of Neural Networks},
author = {Matthew Sotoudeh and Aditya V. Thakur},
journal= {arXiv preprint arXiv:1908.06214},
year = {2019}
}
备注
Conference paper at the Conference on Neural Information Processing Systems (NeurIPS) 2019. Code is available at https://github.com/95616ARG/SyReNN