PICARD：用于语言模型约束自回归解码的增量解析方法
计算与语言
2021-09-14 v1 编程语言
摘要
用于文本数据的大型预训练语言模型具有无约束的输出空间；在每个解码步，它们可生成数万个子词 token 中的任意一个。当微调至 SQL 等受约束的形式语言时，这些模型常生成无效代码，导致无法使用。我们提出 PICARD（代码与训练模型见 https://github.com/ElementAI/picard），一种通过增量解析约束语言模型自回归解码器的方法。PICARD 通过在每个解码步拒绝不可容许的 token，帮助寻找有效输出序列。在具有挑战性的 Spider 与 CoSQL 文本到 SQL 翻译任务上，我们展示 PICARD 将性能尚可的微调 T5 模型转化为最先进的解决方案。
引用
@article{arxiv.2109.05093,
title = {PICARD: Parsing Incrementally for Constrained Auto-Regressive Decoding from Language Models},
author = {Torsten Scholak and Nathan Schucher and Dzmitry Bahdanau},
journal= {arXiv preprint arXiv:2109.05093},
year = {2021}
}
备注
Accepted to EMNLP 2021. 7 pages