神经网络的表示理论

本工作中，我们展示神经网络可通过箭图表示（quiver representations）的数学理论来表示。更具体地，我们证明神经网络是带激活函数的箭图表示，一种我们用网络箭图表示的数学对象。此外，我们展示网络箭图能自然适应常见神经网络概念，如全连接层、卷积操作、残差连接、批量归一化、池化操作甚至随机连接神经网络。我们表明该数学表示绝非对神经网络是什么的近似，因为它精确匹配现实。此解释是代数的且可用代数方法研究。我们还提供箭图表示模型以理解神经网络如何从数据创建表示。我们展示神经网络将数据保存为箭图表示，并将其映射到一个称为模空间（moduli space）的几何空间，该空间由网络的基础有向图即其箭图给出。这作为我们定义对象的后果，以及以组合与代数方式理解神经网络如何计算预测的后果。总体而言，通过箭图表示理论表示神经网络导出了 9 个结论与 4 个供未来研究的问题，我们相信它们对更好理解神经网络是什么及如何工作极具兴趣。