通过模型预测控制统一反向传播与前向前进算法
机器学习
2024-10-01 v1 最优化与控制
摘要
我们引入一种模型预测控制（MPC）框架，用于训练深度神经网络，系统性地统一了反向传播（Back-Propagation, BP）与前向前进（Forward-Forward, FF）算法。同时，它产生了一系列具有不同前视时域的中间训练算法，形成性能与效率之间的权衡。我们对这一权衡在深层线性网络上的进行了精确分析，其中得到的定性结论可推广至通用网络。基于我们的分析，我们提出了一种依据给定目标与模型规格选择优化时域的原则方法。在各种模型和任务上的数值结果表明，我们方法的通用性。
引用
@article{arxiv.2409.19561,
title = {Unifying back-propagation and forward-forward algorithms through model predictive control},
author = {Lianhai Ren and Qianxiao Li},
journal= {arXiv preprint arXiv:2409.19561},
year = {2024}
}