U-Clip：平均无偏随机梯度裁剪
机器学习
2023-02-07 v1 最优化与控制
机器学习
摘要
U-Clip 是对梯度裁剪的一种简单修正，可应用于任何迭代梯度优化算法。与常规裁剪类似，U-Clip 涉及使用裁剪到指定大小的梯度（例如，通过分量级或范数级裁剪），但不同于丢弃梯度的被裁剪部分，U-Clip 维护一个这些值的缓冲区，并在下一次迭代时（裁剪前）将其添加到梯度中。我们证明，U-Clip 更新的累积偏差由一个常数界定。这意味着裁剪后的更新在平均意义上是无偏的。收敛性通过一个引理得到保证，该引理保证只要 ，其中 是梯度，更新 就能收敛。在 CIFAR10 上进行了广泛的实验探索，并在 ImageNet 上提供了进一步验证。
引用
@article{arxiv.2302.02971,
title = {U-Clip: On-Average Unbiased Stochastic Gradient Clipping},
author = {Bryn Elesedy and Marcus Hutter},
journal= {arXiv preprint arXiv:2302.02971},
year = {2023}
}