中文

词汇化即一切所需:考察词汇知识在组合式关联数据问答系统中的影响

人工智能 2024-12-06 v2 计算与语言 信息检索

摘要

在本文中,我们考察词汇化对关联数据问答(QALD)的影响。众所周知,在将自然语言问题解释为 SPARQL 查询时,一个关键挑战在于弥合词汇鸿沟,即把查询中的词语映射到正确的词汇元素。我们认为,词汇化——即关于一个词语在给定词汇表中可能解释的显式知识——能显著简化这一任务并提升问答系统的性能。为此,我们提出了一种组合式问答系统,能够以组合式的方式利用显式词汇知识来推断问题的含义并转化为 SPARQL 查询。我们表明,这样的系统在具备词汇知识时,性能远超当前问答系统,与 QALD-9 上最佳问答系统相比,微 F1F_1 分数提升了高达 35.8%35.8\%。这体现了纳入显式词汇知识的重要性和潜力。相反,我们表明大语言模型(LLMs)在利用词汇知识方面的能力有限,与不含词汇知识的版本相比仅有边际提升。这说明 LLMs 无法根据各部分的含义来组合式地解释问题,这是组合式方法的一个关键特征。综上所述,我们的工作为 QALD 研究开辟了新途径,强调了词汇化和组合性的重要性。

关键词

引用

@article{arxiv.2411.03906,
  title  = {Lexicalization Is All You Need: Examining the Impact of Lexical Knowledge in a Compositional QALD System},
  author = {David Maria Schmidt and Mohammad Fazleh Elahi and Philipp Cimiano},
  journal= {arXiv preprint arXiv:2411.03906},
  year   = {2024}
}

备注

24th International Conference on Knowledge Engineering and Knowledge Management (EKAW 2024), November 26-28, 2024, Amsterdam, The Netherlands