关于前馈神经网络的导数
计算物理
2020-05-15 v1 高能物理 - 唯象学
摘要
在本文中，我们给出了对于任意架构的前馈神经网络关于其自由参数的解析导数的 C++ 实现，即所谓的反向传播。我们将此代码命名为 NNAD（Neural Network Analytic Derivatives，神经网络解析导数），并将其与广泛使用的 ceres-solver 最小化器接口，以在两个不同的最小二乘问题中将神经网络拟合到伪数据。第一个是对勒让德多项式的直接拟合。第二个是稍显复杂的极小化问题，其中待拟合函数参与一个积分。最后，使用一致框架，我们评估了所提供的解析导数公式相对于 ceres-solver 提供的数值和自动微分的效率。因此我们展示了在涉及深度或浅层神经网络的问题中使用 NNAD 的优势。
引用
@article{arxiv.2005.07039,
title = {On the derivatives of feed-forward neural networks},
author = {Rabah Abdul Khalek and Valerio Bertone},
journal= {arXiv preprint arXiv:2005.07039},
year = {2020}
}