通过自训练提升数据到文本生成的组合泛化能力
计算与语言
2022-04-12 v2 人工智能
摘要
数据到文本生成致力于从结构化意义表示(MRs)生成流畅的自然语言回复。此类表示具有组合性,而为所有原子意义图式的可能组合收集回复代价高昂,因此需要对新颖 MRs 的少样本泛化。本工作中,我们系统研究了最先进的 T5 模型在少样本数据到文本任务中的组合泛化能力。我们表明 T5 模型无法泛化到未见过的 MRs,并提出了一种基于模板的输入表示,显著提升了模型的泛化能力。为进一步提升模型性能,我们提出了一种基于自训练的方法,利用微调的 BLEURT 进行伪回复选择。在常用的 SGD 和 Weather 基准上,所提出的自训练方法在少样本设置下相较强大的 T5 基线将树准确率提升了 46% 以上,并将槽错误率降低了 73% 以上。
引用
@article{arxiv.2110.08467,
title = {Improving Compositional Generalization with Self-Training for Data-to-Text Generation},
author = {Sanket Vaibhav Mehta and Jinfeng Rao and Yi Tay and Mihir Kale and Ankur P. Parikh and Emma Strubell},
journal= {arXiv preprint arXiv:2110.08467},
year = {2022}
}
备注
Accepted at ACL 2022 main conference