通过似然比方法仅需一次前向传播即可训练神经网络
机器学习
2023-10-16 v2 神经与进化计算
最优化与控制
摘要
尽管反向传播（BP）是神经网络训练中梯度计算的主流方法，但其对微分链式法则的严重依赖限制了网络架构与训练流程的设计灵活性。我们避免了 BP 中的递归计算，并开发了统一似然比（ULR）方法，仅通过一次前向传播即可进行梯度估计。ULR 不仅可以扩展用于训练多种神经网络架构，而且 BP 中的计算流也可由 ULR 重新安排以获得更好的设备适应性。此外，我们提出了若干方差缩减技术以进一步加速训练过程。我们的实验从多个方面给出了数值结果，包括各类神经网络训练场景、计算流重排以及预训练模型的微调。所有发现表明，ULR 通过允许局部模块训练而不损害全局目标，有效增强了神经网络训练的灵活性，并显著提升了网络鲁棒性。
引用
@article{arxiv.2305.08960,
title = {One Forward is Enough for Neural Network Training via Likelihood Ratio Method},
author = {Jinyang Jiang and Zeliang Zhang and Chenliang Xu and Zhaofei Yu and Yijie Peng},
journal= {arXiv preprint arXiv:2305.08960},
year = {2023}
}