可靠学术会议问答：基于大语言模型的研究

随着学术会议的发展促进全球学术交流，研究人员持续需要获取准确且最新的学术会议信息。由于信息分散，使用智能问答系统高效处理研究人员查询并确保了解最新进展是必要的。近来，大语言模型（LLMs）在问答中展现出令人印象深刻的能力，并通过检索外部知识来增强以应对知识过时问题。然而，由于缺乏最新会议知识，这些方法无法奏效。为应对这一挑战，我们构建了 ConferenceQA 数据集，包含七个不同的学术会议。具体而言，对于每个会议，我们首先通过半自动化方法以树状结构组织学术会议数据。然后我们标注问答对，并将这些对分类为四种不同类型以更好区分其难度。利用构建的数据集，我们进一步提出一种新方法 STAR（STructure-Aware Retrieval，结构感知检索）以利用检索过程中固有的结构信息来提升 LLM 的问答能力。在 ConferenceQA 数据集上的实验结果表明了我们检索方法的有效性。数据集与代码可在 https://github.com/zjukg/ConferenceQA 获取。