神经网络的真实热带几何

我们考虑一个由热带有理函数的符号定义的二元分类器，即作为两个凸分段线性函数的差。ReLU 神经网络的参数空间作为半代数集包含在热带有理函数的参数空间内。我们开始研究该参数空间的两种不同细分：一种是将其细分为半代数集，在其上决策边界的组合类型是固定的；另一种是将其细分为多面体扇，捕捉数据集划分的组合性质。0/1 损失函数的下水平集作为该分类扇的子扇出现，我们证明水平集不一定是连通的。我们描述了该分类扇：i) 几何上，作为激活多面体的法扇；ii) 组合上，通过关联二部图的性质列表，类似于有向拟阵和热带有向拟阵的余向量公理。我们的发现通过观察真实热带几何中确立的结构（例如超曲面的正热带化和热带半代数集），扩展并细化了神经网络与热带几何之间的联系。