基于前向状态变换与反向损失变换的神经网络
神经与进化计算
2018-03-28 v1 机器学习
摘要
本文研究（多层感知器）神经网络，重点关注其涉及的正向与反向变换，以发展出与标准程序语义学相符的语义/逻辑视角。常见的两阶段神经网络训练算法使这一观点尤为契合。在前向方向上，神经网络充当状态变换器。然而在反向方向上，神经网络将输出的损失转换为输入的损失，从而表现得像一个（实值）谓词变换器。如此一来，反向传播在构造上即是函子性的，正如近期其他工作所示。我们通过训练一个简单的神经网络实例来阐释这一视角。
引用
@article{arxiv.1803.09356,
title = {Neural Nets via Forward State Transformation and Backward Loss Transformation},
author = {Bart Jacobs and David Sprunger},
journal= {arXiv preprint arXiv:1803.09356},
year = {2018}
}