反向传播算法的矩阵记号归纳证明
机器学习
2021-07-21 v1 机器学习
统计理论
神经元与认知
统计理论
摘要
反向传播（BP）是神经网络当代深度学习形态的核心组成部分。简言之，BP 是一种利用神经网络计算架构在神经网络参数优化期间高效评估代价函数梯度的算法。BP 的有效性建立在将多元链式法则应用于神经网络及其相关目标函数的计算架构之上。深度学习理论介绍通常以矩阵形式给出神经网络的计算架构，却回避在矩阵微分学框架中对 BP 的平行表述与论证。这给深度学习的理论与教学带来若干缺陷。本工作中，我们通过给出 BP 算法在矩阵记号下的完整归纳证明克服了这些局限。具体而言，我们将 BP 算法置于矩阵微分学框架中，涵盖仿射线性势函数，以归纳形式证明 BP 算法的有效性，并以计算机代码示例矩阵形式 BP 算法的实现。
引用
@article{arxiv.2107.09384,
title = {An induction proof of the backpropagation algorithm in matrix notation},
author = {Dirk Ostwald and Franziska Usée},
journal= {arXiv preprint arXiv:2107.09384},
year = {2021}
}