基于持续进化策略的无偏梯度估计在展开计算图中的研究
机器学习
2021-12-28 v1 机器学习
摘要
展开计算图出现在许多场景中，包括训练 RNN、通过展开优化调整超参数，以及训练习得优化器。当前优化此类计算图中参数的方法存在梯度方差高、有偏、更新慢或内存占用大等问题。我们引入一种称为持续进化策略（PES）的方法，该方法将计算图划分为一系列截断展开，并在每次展开后执行基于进化策略的更新步骤。PES 通过在整个展开序列上累积校正项来消除这些截断带来的偏差。PES 支持快速参数更新、内存占用低、无偏且具备合理的方差特性。我们在合成任务上通过实验展示了 PES 相较于其他几种梯度估计方法的优势，并展示了其在训练习得优化器和调整超参数上的适用性。
引用
@article{arxiv.2112.13835,
title = {Unbiased Gradient Estimation in Unrolled Computation Graphs with Persistent Evolution Strategies},
author = {Paul Vicol and Luke Metz and Jascha Sohl-Dickstein},
journal= {arXiv preprint arXiv:2112.13835},
year = {2021}
}
备注
ICML 2021