多项式神经网络的激活度阈值与表达能力

我们通过研究其 neurovariety 的几何来探讨深层多项式神经网络的表达能力。我们引入了网络架构的激活度阈值（activation degree threshold）的概念，以表述当 neurovariety 维度达到其理论最大值时的情况。我们证明了所有没有宽度为 1 的瓶颈的多项式神经网络都存在激活度阈值，并证明了一个以最大宽度为界的二次上界。在此过程中，我们证明了 Kileel、Trager 和 Bruna 的高激活度猜想。某些结构化架构具有特殊的激活度阈值，使其在 neurovariety 维度上尤其具有表达性。在这一方向上，我们证明了具有等宽架构的多项式神经网络通过显示其激活度阈值为 1 而具有最大的表达性。