COLD 解码：基于能量与朗之万动力学的约束文本生成
计算与语言
2022-10-17 v3 人工智能
机器学习
摘要
许多文本生成应用需要引入不同约束以控制生成文本的语义或风格。这些约束可以是硬约束（例如确保输出中包含某些关键词）和软约束（例如使输出与左或右上下文相关联）。在本文中，我们提出基于能量与朗之万动力学的约束解码（COLD），一种将约束生成统一为通过能量函数指定约束、进而通过基于梯度的采样对约束进行高效可微推理的解码框架。COLD 解码是一种灵活的框架，可直接应用于现成的从左至右语言模型而无需任何任务特定的微调，这通过三个具有挑战性的文本生成应用得到证明：词汇约束生成、溯因推理与反事实推理。我们在这些约束生成任务上的实验表明了我们的方法在自动与人工评估两方面的有效性。
引用
@article{arxiv.2202.11705,
title = {COLD Decoding: Energy-based Constrained Text Generation with Langevin Dynamics},
author = {Lianhui Qin and Sean Welleck and Daniel Khashabi and Yejin Choi},
journal= {arXiv preprint arXiv:2202.11705},
year = {2022}
}
备注
NeurIPS 2022. code: https://github.com/qkaren/COLD_decoding