立场：范畴深度学习是所有架构的代数理论

我们阐述了对通用深度学习架构指定与研究框架这一难以捉摸的追求的立场。我们的观点是，迄今为止的关键尝试缺乏在模型必须满足的约束与其实现之间的连贯桥梁。专注于构建这样一座桥梁，我们提出应用范畴论——确切地说，是参数映射2-范畴中单子的泛代数——作为一个单一理论，优雅地涵盖了神经网络设计的这两种风格。为捍卫我们的立场，我们展示了该理论如何恢复几何深度学习所施加的约束，以及从神经网络多样化图景中提取的许多架构（如RNN）的实现。我们还说明了该理论如何自然地编码计算机科学和自动机理论中的许多标准构造。