基于梯度方差裁剪的二值隐变量梯度估计
机器学习
2022-08-15 v1 机器学习
摘要
在强化学习和变分自编码器(VAE)训练等场景中，拟合具有离散隐变量的生成模型往往需要进行梯度估计。DisARM 估计器(Yin 等 2020; Dong, Mnih, 和 Tucker 2020)在许多场景下对伯努利隐变量模型达到了 SOTA 的梯度方差。然而，DisARM 及其他估计器在参数空间边界附近可能存在方差爆炸，而解往往位于边界处。为缓解此问题，我们提出一种新的梯度估计器 bitflip-1，其在参数空间边界处具有更低的方差。由于 bitflip-1 与现有估计器具有互补性质，我们引入一种聚合估计器，即无偏梯度方差裁剪(UGC)，对每个坐标使用 bitflip-1 或 DisARM 梯度更新之一。我们从理论上证明 UGC 的方差一致低于 DisARM。实证中，我们观察到 UGC 在玩具实验、离散 VAE 训练以及最佳子集选择问题中均达到了优化目标的最优值。
引用
@article{arxiv.2208.06124,
title = {Gradient Estimation for Binary Latent Variables via Gradient Variance Clipping},
author = {Russell Z. Kunes and Mingzhang Yin and Max Land and Doron Haviv and Dana Pe'er and Simon Tavaré},
journal= {arXiv preprint arXiv:2208.06124},
year = {2022}
}