利用Frédchet微积分推导前馈神经网络梯度
机器学习
2022-09-28 v1
摘要
我们给出了利用Frédchet微积分推导前馈神经网络梯度的方法，该方法可以说比文献中通常给出的推导更为紧凑。我们首先推导处理向量数据的普通神经网络的梯度，并展示这些推导出的公式如何用于得到一个简单高效的算法来计算神经网络梯度。随后我们展示了我们的分析如何推广到更一般的神经网络架构，包括但不限于卷积网络。
引用
@article{arxiv.2209.13234,
title = {A Derivation of Feedforward Neural Network Gradients Using Fr\'echet Calculus},
author = {Thomas Hamm},
journal= {arXiv preprint arXiv:2209.13234},
year = {2022}
}