基于模板与机器学习的知识图谱用户可读文本生成评估
计算与语言
2021-06-29 v1 人工智能
摘要
知识图谱典型的用户友好呈现方式为可视化与自然语言文本。在后一种人机交互（HCI）解决方案路径中，数据驱动的自然语言生成系统受到越来越多的关注，但它们常因内容遗漏、幻觉或重复等错误而逊于基于模板的系统。目前尚不清楚这些错误中哪些与人类（文本的目标受众）给出的低质量评判显著相关，这阻碍了依据其对改善人类评估的影响来针对性纠错。我们通过一项实验评估了它们之间的可能关联，该实验利用了专家与众包对人工撰写文本、模板生成文本及序列到序列模型生成文本的评估。结果表明，人工撰写文本中的错误与其自然度与质量的低人类评判之间无显著关联；机器学习生成文本中槽位遗漏或幻觉与其自然度与质量的低人类评判之间亦无显著关联。因此，两种方法似乎都是设计知识图谱自然语言界面的可行选项。
引用
@article{arxiv.2106.14613,
title = {An evaluation of template and ML-based generation of user-readable text from a knowledge graph},
author = {Zola Mahlaza and C. Maria Keet and Jarryd Dunn and Matthew Poulter},
journal= {arXiv preprint arXiv:2106.14613},
year = {2021}
}
备注
15 pages, 6 figures