分段线性神经网络线性区域数的近紧界

近年来深度神经网络（DNN）的发展开启了人工智能的全新时代。DNN 被证明在解决非常复杂的问题（如视觉识别和文本理解）方面表现卓越，甚至达到可与人类竞争或超越人类的程度。尽管 DNN 取得了令人振奋的成功，但仍缺乏深入的理论分析来揭示其神奇之处。DNN 结构的设计在网络深度、神经元数量和激活函数方面由经验结果主导。近期发表的少数杰出工作试图解释 DNN，已初步揭示其内部机制。然而，探索 DNN 如何运作的研究仍处于起步阶段，尚有大量改进空间。本文扩展了先前关于具有分段线性激活函数（PLNN）的神经网络在线性区域界方面的研究。我们给出（i）单层 PLNN 线性区域的精确最大数量；（ii）多层 PLNN 的上界；以及（iii）整流网络上线性区域最大数量的更紧上界。所推导的界也间接解释了为何深度模型比浅层模型更强大，以及激活函数的非线性如何影响网络的表达能力。