用于基于 Transformer 文本生成的神经规则执行追踪机
计算与语言
2021-07-29 v1
摘要
序列到序列（S2S）神经文本生成模型，尤其是预训练模型（如 BART 和 T5），已在各种自然语言生成任务中展现出引人注目的性能。然而，这些模型的黑盒性质限制了它们在需要执行特定规则（如可控约束、先验知识）的任务中的应用。以往工作要么设计特定模型结构（如对应于规则“生成输出应包含源输入中某些词”的拷贝机制），要么实现专门的推理算法（如约束束搜索）以通过文本生成执行特定规则。这些方法需要针对具体案例仔细设计，且难以同时支持多条规则。本文提出一种名为神经规则执行追踪机（Neural Rule-Execution Tracking Machine）的新模块，可装备于各种基于 transformer 的生成器中，以统一且可扩展的方式同时利用多条规则引导神经生成模型，从而获得更优的生成性能。在多个基准上的大量实验结果验证了我们所提模型在可控与通用文本生成中的有效性。
引用
@article{arxiv.2107.13077,
title = {Neural Rule-Execution Tracking Machine For Transformer-Based Text Generation},
author = {Yufei Wang and Can Xu and Huang Hu and Chongyang Tao and Stephen Wan and Mark Dras and Mark Johnson and Daxin Jiang},
journal= {arXiv preprint arXiv:2107.13077},
year = {2021}
}