无反向传播的优化
机器学习
2022-09-15 v1 最优化与控制
摘要
前向梯度近来被引入以在自动微分中绕过反向传播，同时保留真实梯度的无偏估计量。我们推导了获得最佳近似前向梯度的最优性条件，这引导我们获得数学见解，表明高维优化在使用前向梯度时具有挑战性。我们在测试函数上的大量实验支持了这一主张。
引用
@article{arxiv.2209.06302,
title = {Optimization without Backpropagation},
author = {Gabriel Belouze},
journal= {arXiv preprint arXiv:2209.06302},
year = {2022}
}
备注
11 pages, 6 figures, associated implementation available at https://github.com/gbelouze/forward-gradient