MQA-KEAL：面向阿拉伯语的知识编辑下多跳问答
计算与语言
2024-09-20 v1
摘要
大型语言模型（LLM）在诸多应用领域展现出显著的能力。然而，保持这些模型与最新可用信息同步更新是一挑战，这限制了这些模型在最终应用中的真实潜力。尽管已有大量研究尝试对LLM进行知识编辑（KE），即编辑LLM的先验知识，并通过多跳问答（MQA）进行测试，但目前的研究主要聚焦于英语语言。为弥合这一差距，本文提出了：面向阿拉伯语的知识编辑下多跳问答（Multi-hop Question Answering under Knowledge Editing for Arabic Language，MQA-KEAL）。MQA-KEAL将知识编辑存储为结构化知识单元于外部记忆中。为解决多跳问答问题，它首先使用任务分解将问题分解为更小的子问题。随后对于每个子问题，依次查询外部记忆和/或目标LLM，以生成最终响应。此外，我们还贡献了MQUAKE-AR（英语基准MQUAKE的阿拉伯语翻译），以及新的基准MQA-AEVAL，用于对阿拉伯语下知识编辑下的多跳问答进行严格的性能评估。实验结果表明，MQA-KEAL相较于基线模型以显著幅度获胜。
引用
@article{arxiv.2409.12257,
title = {MQA-KEAL: Multi-hop Question Answering under Knowledge Editing for Arabic Language},
author = {Muhammad Asif Ali and Nawal Daftardar and Mutayyaba Waheed and Jianbin Qin and Di Wang},
journal= {arXiv preprint arXiv:2409.12257},
year = {2024}
}