网格神经网络及其前向-only梯度传播的形式化推导
机器学习
2021-10-01 v6 人工智能
神经与进化计算
机器学习
摘要
本文提出网格神经网络（Mesh Neural Network, MNN），一种允许神经元以任意拓扑连接、高效路由信息的新颖架构。在MNN中，信息通过状态转移函数在神经元间传播。状态与误差梯度随后直接由状态更新计算而得，无需反向计算。MNN架构与误差传播方案以张量代数形式化并推导。所提出的计算模型可完整提供梯度下降过程，并且相较于基于反向传播与计算图的神经网络，因其表达力与训练效率，潜在适用于超大规模稀疏神经网络。
引用
@article{arxiv.1905.06684,
title = {Formal derivation of Mesh Neural Networks with their Forward-Only gradient Propagation},
author = {Federico A. Galatolo and Mario G. C. A. Cimino and Gigliola Vaglini},
journal= {arXiv preprint arXiv:1905.06684},
year = {2021}
}