基于梯度的语言模型约束采样
计算与语言
2022-11-09 v2
摘要
大型预训练语言模型可生成流畅文本,但众所周知难以可控采样。在这项工作中,我们研究此类语言模型的约束采样:生成满足用户定义约束的文本,同时保持流畅性以及模型在下游任务中的表现。我们提出 MuCoLa——一种采样过程,它将语言模型的对数似然与任意(可微)约束结合在单一能量函数中,然后以非自回归方式生成样本。具体而言,它用噪声初始化整个输出序列,并遵循由基于能量函数梯度的朗之万动力学定义的马尔可夫链。我们在具有软约束和硬约束及其组合的文生成上评估 MuCoLa,在毒性规避、情感控制和关键词引导生成方面取得了优于竞争性基线的显著改进。
引用
@article{arxiv.2205.12558,
title = {Gradient-Based Constrained Sampling from Language Models},
author = {Sachin Kumar and Biswajit Paria and Yulia Tsvetkov},
journal= {arXiv preprint arXiv:2205.12558},
year = {2022}
}