KEPR：面向生成式常识问答的知识增强与合理性排序
计算与语言
2023-05-16 v1 人工智能
摘要
生成式常识问答（GenCQA）是在给定问题下自动生成答案列表的任务。该答案列表需覆盖所有合理答案。这带来了生成多样化答案并对其进行恰当排序的重大挑战。将多种紧密相关的背景知识融入问题编码中，能够促成不同答案的生成。同时，学习区分正答案与负答案潜在地增强了合理性概率估计，并据此实现基于合理性的排序。因此，我们提出了一种基于“先生成后排序”流水线架构的知识增强与合理性排序（KEPR）方法。具体而言，我们根据关键词的 Wiktionary 常识知识对问题进行扩展，并以规范化模式对其重构。利用稠密段落检索捕获相关知识，并使用不同的基于 PLM（BART、GPT2 和 T5）的网络生成答案。另一方面，我们开发了基于 ELECTRA 的答案排序模型，在训练中进行逻辑回归，旨在二分类场景下逼近不同水平的合理性。在基准 ProtoQA 上的大量实验表明，与强基线相比，KEPR 取得了显著改进。在实验模型中，基于 T5 且采用 KEPR 的 GenCQA 取得了最佳性能，在主要规范指标 Inc@3 上达到 60.91%。它在 ProtoQA 当前排行榜上优于现有的 GenCQA 模型。
引用
@article{arxiv.2305.08347,
title = {KEPR: Knowledge Enhancement and Plausibility Ranking for Generative Commonsense Question Answering},
author = {Zhifeng Li and Bowei Zou and Yifan Fan and Yu Hong},
journal= {arXiv preprint arXiv:2305.08347},
year = {2023}
}
备注
IJCNN 2023