利用 ES-Single 在展开计算图中进行低方差梯度估计
机器学习
2023-04-24 v1 神经与进化计算
机器学习
摘要
我们提出一种基于进化策略、用于展开计算图中梯度估计的算法，称为 ES-Single。与近期提出的持久进化策略（Persistent Evolution Strategies, PES）类似，ES-Single 是无偏的，并通过平滑元损失景观克服递归函数应用引发的混沌。ES-Single 为每个粒子采样单一扰动，该扰动在内层问题过程中保持固定（例如，不对每次部分展开重新采样扰动）。与 PES 相比，ES-Single 更易于实现且方差更低：ES-Single 的方差相对于截断展开次数保持不变，从而消除了将 ES 应用于长内层问题并使用短截断的关键障碍。我们证明 ES-Single 对二次内层问题是无偏的，并凭经验表明其方差可显著低于 PES。ES-Single 在多种任务上持续优于 PES，包括合成基准任务、超参数优化、循环神经网络训练以及学习优化器训练。
引用
@article{arxiv.2304.11153,
title = {Low-Variance Gradient Estimation in Unrolled Computation Graphs with ES-Single},
author = {Paul Vicol and Zico Kolter and Kevin Swersky},
journal= {arXiv preprint arXiv:2304.11153},
year = {2023}
}