机器学习语境下的序数理论

论文"深度神经网络的热带几何"中,L. Zhang等人提出了整数值神经网络(IVNN)与热带有理函数之间的等价性,后者映射到多面体。IVNN指具有整数权重但实数偏置的网络,$\text{ReLU}_{t}$定义为$\text{ReLU}_{t}(x)=\max(x,t)$,$t\in\mathbb{R}\cup\{-\infty\}$。对于任意n个点的偏序集合,都存在对应的序数体,即位于单位立方体$[0,1]^n$内的凸多面体,其坐标遵循该偏序的不等式。我们研究与序数体相关的神经网络。随后我们解释了具有四个点的偏序可诱导出可解释为$2\times 2$卷积滤波器的神经网络。这些偏序滤波器可添加到任意神经网络中,不仅限于IVNN。类似于maxout,偏序池化滤波器在反向传播时能比平均池化、最大池化或混合池化更精确地更新神经网络的权重,而无需训练额外参数。我们报告了支持我们论断的实验。我们还定义了在偏序神经网络和热带多项式的偏序演算上结构。这种形式主义允许我们通过引入两种多面体操作的推广:凸包和平凸和,来研究偏序神经网络架构的组合及其对应Newton多面体的影响。