冯·诺伊曼网络

20世纪中叶，数学家兼全才人物约翰·冯·诺伊曼（John von Neumann）创建了一个由细胞阵列构成的计算系统，每个细胞具有有限的角色或状态，他预言这些状态将通过扩散过程来建模。在本工作中，我们展示了在现代深度学习环境中发展这种系统，能够构建一个具有可学习的专门角色的人工神经元。我们将该神经元称为冯·诺伊曼神经元（Von Neumann neuron），并称由此类神经元构成的神经网络为自工程设计的网络，其体系结构仅取决于其输入输出在该细胞阵列中的结构和位置。我们还构建了这些冯·诺伊曼网络（VNNs）的数学框架，表明它们基于神经算子扩展，并通过在具有扩散签名的细胞拓扑上进行卷积来学习格林函数。我们还证明，这些VNNs属于更广泛的计算系统——称为细胞机器（Cellular Machines）——且是计算通用性的。初始实验表明，基于VNN的多层感知器在基本任务上优于其等效的深度学习变体，同时更参数高效，且能够学习新类型的数据。