你会那样问吗？度量并改进知识图谱问答中问题的自然度

知识图谱问答（KGQA）通过利用结构化数据来便利信息访问，且不需要用户具备形式化查询语言的专业知识。相反，用户只需以自然语言（NL）简单地提出其问题即可表达信息需求。用于训练提供此类服务的 KGQA 模型的数据集构建成本高昂，无论是专家还是众包劳动力方面皆是如此。通常，众包劳动力用于改进从形式化查询生成的基于模板的伪自然语言问题。然而，所得数据集往往不足以代表真正自然流畅的语言。在本工作中，我们研究刻画并补救这些缺陷的方法。我们通过从现有 KGQA 数据集中抽样问题，并依据自然度的五个不同方面对其进行评估，创建了 IQN-KGQA 测试集。随后，这些问题被重写以提升其流畅度。最后，在原始和重写版本的自然语言问题上比较现有 KGQA 模型的性能。我们发现，某些 KGQA 系统在面对更真实的自然语言问题表述时表现更差。IQN-KGQA 测试集是一种有助于在更真实环境中评估 KGQA 系统的资源。该测试集的构建也揭示了构建具有真正自然语言问题的大规模 KGQA 数据集的挑战。