神经网络的决策边界：一个热带几何视角
机器学习
2022-08-24 v3 机器学习
摘要
本工作致力于刻画并理解具有分段线性非线性激活函数的神经网络的决策边界。我们利用代数几何领域的新进展——热带几何，来刻画形如（仿射，ReLU，仿射）的简单网络的决策边界。我们的主要发现是，决策边界是热带超曲面的一个子集，该超曲面与由两个zonotope的凸包所形成的多面体密切相关。这些zonotope的生成元是网络参数的函数。这一几何刻画为三项任务提供了新视角。（i）我们针对彩票假说提出了一种新的热带视角，将不同初始化对网络决策边界的热带几何表示的影响加以考察。（ii）此外，我们提出了新的基于热带的优化重构方法，在神经网络剪枝任务中直接作用于网络的决策边界。（iii）最后，我们讨论了在热带意义下对抗攻击生成的重构。我们证明，通过扰动网络中的一组参数来扰动一组特定的决策边界，可以在新的热带设定下构造对抗样本。
引用
@article{arxiv.2002.08838,
title = {On the Decision Boundaries of Neural Networks: A Tropical Geometry Perspective},
author = {Motasem Alfarra and Adel Bibi and Hasan Hammoud and Mohamed Gaafar and Bernard Ghanem},
journal= {arXiv preprint arXiv:2002.08838},
year = {2022}
}
备注
First two authors contributed equally to this work