探究释义生成在 FRANK 问答系统问题重构中的应用
计算与语言
2022-06-07 v1
摘要
我们提出一项关于释义生成方法能否增加 FRANK 问答系统可回答自然语言问题多样性的研究。我们首先使用自动指标和人工判断在 LC-QuAD 2.0 数据集上评估释义生成方法，并讨论其相关性。还使用自动与人工方式对该数据集进行错误分析，并讨论含错误的数据点如何影响释义生成与评估。随后，我们使用一个小型挑战数据集，模拟将性能最佳的释义生成方法（英–法回译）集成到 FRANK 中以检验我们的初始假设。我们的两个主要结论是：需要对 LC-QuAD 2.0 进行清洗，因为其中存在的错误会影响评估；并且由于 FRANK 解析器的限制，释义生成并非我们可依赖的、用于改善 FRANK 可回答自然语言问题多样性的方法。
引用
@article{arxiv.2206.02737,
title = {Investigating the use of Paraphrase Generation for Question Reformulation in the FRANK QA system},
author = {Nick Ferguson and Liane Guillou and Kwabena Nuamah and Alan Bundy},
journal= {arXiv preprint arXiv:2206.02737},
year = {2022}
}
备注
14 pages, 6 figures