用于上下文类别序列生成的自适应相关蒙特卡洛方法
机器学习
2020-06-18 v2 机器学习
摘要
序列生成模型通常基于用户定义的指标用强化学习进行精调。然而，高梯度方差阻碍了该方法的实际应用。为稳定该方法，我们将一种策略梯度估计器适配于类别序列的上下文生成，该估计器评估一组相关蒙特卡洛（MC）展开以控制方差。由于相关性，唯一展开的数量是随机的且自适应于模型不确定性；这些展开自然成为彼此的基线，因此被组合以有效降低梯度方差。我们还展示了相关 MC 展开在二叉树 softmax 模型中的使用，其通过将每个类别动作分解为一系列二元动作来降低大词表场景下的高生成代价。我们在神经程序合成与图像描述生成上评估了我们的方法。所提方法产生了更低的梯度方差，并相对于相关基线有一致的提升。
引用
@article{arxiv.1912.13151,
title = {Adaptive Correlated Monte Carlo for Contextual Categorical Sequence Generation},
author = {Xinjie Fan and Yizhe Zhang and Zhendong Wang and Mingyuan Zhou},
journal= {arXiv preprint arXiv:1912.13151},
year = {2020}
}
备注
ICLR 2020 (updated to fix a typo in Algorithm 1)