ARMS:面向二值变量的对偶-REINFORCE-多样本梯度
机器学习
2021-06-01 v1 机器学习
摘要
估计二值变量的梯度是多个领域频繁出现的任务,例如训练离散潜变量模型。常用的是基于REINFORCE的蒙特卡洛估计方法,其使用独立样本或负相关样本对。为更好利用多于两个样本,我们提出ARMS,一种基于对偶REINFORCE的多样本梯度估计器。ARMS使用copula生成任意数量的相互对偶样本。它无偏、低方差,并推广了DisARM(我们证明其是双样本ARMS)与留一REINFORCE(LOORF)估计器(即使用不相关样本的ARMS)。我们在多个数据集上评估ARMS用于训练生成模型,实验结果表明其优于竞争方法。我们还开发了ARMS的一个版本用于优化多样本变分界,并展示其优于VIMCO与DisARM。代码已公开可用。
引用
@article{arxiv.2105.14141,
title = {ARMS: Antithetic-REINFORCE-Multi-Sample Gradient for Binary Variables},
author = {Alek Dimitriev and Mingyuan Zhou},
journal= {arXiv preprint arXiv:2105.14141},
year = {2021}
}