NeuroLogic A*esque 解码：基于前瞻启发式的约束文本生成
计算与语言
2021-12-17 v1
摘要
神经文本生成的主流范式是基于自回归语言模型的自左向右解码。然而，在复杂词汇约束下的约束或可控生成需要前瞻以规划可行的未来路径。受 A* 搜索算法的启发，我们提出 NeuroLogic A*esque，一种融合未来代价启发式估计的解码算法。我们开发了适用于大规模语言模型的高效前瞻启发式，使我们的方法可作为束搜索和 top-k 采样等常用技术的直接替代。为实现约束生成，我们基于 NeuroLogic 解码（Lu et al., 2021）构建，将其在融入逻辑约束方面的灵活性与 A*esque 的未来约束满足估计相结合。我们的方法在五项生成任务上优于具有竞争力的基线，并在表到文本生成、约束机器翻译和关键词约束生成上取得了新的 SOTA 性能。这些改进在需要复杂约束满足的任务或少样本、零样本设置中尤为显著。NeuroLogic A*esque 展示了解码在提升和赋能大规模语言模型新能力方面的威力。
引用
@article{arxiv.2112.08726,
title = {NeuroLogic A*esque Decoding: Constrained Text Generation with Lookahead Heuristics},
author = {Ximing Lu and Sean Welleck and Peter West and Liwei Jiang and Jungo Kasai and Daniel Khashabi and Ronan Le Bras and Lianhui Qin and Youngjae Yu and Rowan Zellers and Noah A. Smith and Yejin Choi},
journal= {arXiv preprint arXiv:2112.08726},
year = {2021}
}