面向数学学生的反向传播算法
机器学习
2023-06-02 v3 数值分析
神经与进化计算
数值分析
摘要
深度神经网络（DNN）是向量值函数的复合函数，为了训练 DNN，有必要计算损失函数相对于所有参数的梯度。这一计算可能是一项不平凡的任务，因为 DNN 的损失函数是若干非线性函数的复合，每个函数都有众多参数。反向传播（BP）算法利用 DNN 的复合结构来高效计算梯度。因此，网络层数不会显著影响计算的复杂度。本文的目标是使用 Jacobian 算子将损失函数的梯度表达为矩阵乘法。这可以通过考虑每一层相对于其参数的全导数并将其表达为 Jacobian 矩阵来实现。然后梯度可表示为这些 Jacobian 矩阵的矩阵乘积。这一方法是有效的，因为链式法则可应用于向量值函数的复合，且 Jacobian 矩阵的使用允许纳入多个输入与输出。通过提供简明的数学论证，这些结果可让来自不同学科的广泛读者理解并受益。
引用
@article{arxiv.2301.09977,
title = {The Backpropagation algorithm for a math student},
author = {Saeed Damadi and Golnaz Moharrer and Mostafa Cham},
journal= {arXiv preprint arXiv:2301.09977},
year = {2023}
}
备注
Accepted at the International Joint Conference on Neural Networks (IJCNN) 2023