KGR^4：面向常识生成的检索、回顾、精炼与再思考框架
计算与语言
2021-12-16 v1
摘要
生成式常识推理要求机器在给定若干概念时生成描述日常场景的句子，近来备受关注。然而，现有模型的表现不及人类，因为它们产生的句子往往不合常理且语法有误。本文受人类造句过程启发，提出一种新颖的知识增强常识生成框架，称为 KGR^4，包含四个阶段：检索（Retrieval）、回顾（Retrospect）、精炼（Refine）、再思考（Rethink）。在该框架下，我们首先进行检索，从外部语料库中搜索相关句子作为原型。然后，训练生成器对这些原型进行编辑或复制以生成候选句子，其中潜在错误由基于自编码器的精炼器修正。最后，我们从具有不同超参数的生成器所产生的候选句中选出输出句子。在 CommonGen 基准上的实验结果和深入分析有力证明了我们框架的有效性。特别地，KGR^4 在官方排行榜上取得 33.56 的 SPICE 分数，比先前报道的最佳结果高出 2.49 SPICE 点，达到了最先进（state-of-the-art）性能。
引用
@article{arxiv.2112.08266,
title = {KGR^4: Retrieval, Retrospect, Refine and Rethink for Commonsense Generation},
author = {Xin Liu and Dayiheng Liu and Baosong Yang and Haibo Zhang and Junwei Ding and Wenqing Yao and Weihua Luo and Haiying Zhang and Jinsong Su},
journal= {arXiv preprint arXiv:2112.08266},
year = {2021}
}