基于 F-伴随方法的学习
机器学习
2024-07-17 v1 神经与进化计算
摘要
Boughammoura (2023) 近期论文描述了以另一种称为 F-伴随方法的形式来描述反向传播算法。特别地，通过 F-伴随算法，计算网络中每个权重相对于损失梯度的过程是直接且简单的。在本工作中，我们发展并探索了这一理论框架，以改进前馈神经网络的某些监督学习算法。我们的主要结果表明，通过引入由梯度下降算法构成的神经动力学模型，我们推导出一种均衡 F-伴随过程，从而为深层前馈网络建立局部学习规则。在 MNIST 和 Fashion-MNIST 数据集上的实验结果表明，所提出的方法对标准反向传播训练过程提供了显著的改进。
引用
@article{arxiv.2407.11049,
title = {Learning by the F-adjoint},
author = {Ahmed Boughammoura},
journal= {arXiv preprint arXiv:2407.11049},
year = {2024}
}