Control-DAG: 使用加权有限状态自动机为非自回归有向无环 T5 进行约束解码
计算与语言
2024-04-11 v1
摘要
有向无环 Transformer 是一种快速的非自回归（NAR）模型，在神经机器翻译中表现良好。两个问题阻碍了其向一般自然语言生成（NLG）任务的应用：频繁的词表外（OOV）错误以及无法忠实地生成实体名称。我们引入了 Control-DAG，一种针对我们的有向无环 T5（DA-T5）模型的约束解码算法，提供词法、词表和长度控制。我们表明 Control-DAG 在 Schema Guided Dialogue 和 DART 数据集上显著增强了 DA-T5，为面向任务的对话和数据到文本的 NLG 确立了强大的 NAR 结果。
引用
@article{arxiv.2404.06854,
title = {Control-DAG: Constrained Decoding for Non-Autoregressive Directed Acyclic T5 using Weighted Finite State Automata},
author = {Jinghong Chen and Weizhe Lin and Jingbiao Mei and Bill Byrne},
journal= {arXiv preprint arXiv:2404.06854},
year = {2024}
}
备注
11 pages. NAACL 2024