利用大型语言模型进行 NLP 教育中的概念图恢复与问答
计算与语言
2024-02-23 v1
摘要
在自然语言处理 (NLP) 领域，大型语言模型 (LLMs) 已在文本生成任务中展现出潜力。然而，其在教育中的应用，特别是针对特定领域的查询，仍未得到充分探索。本研究调查了 LLMs 在教育场景中的能力，重点关注概念图恢复和问答 (QA)。我们评估了 LLMs 在创建特定领域概念图方面的零样本性能，并引入了 TutorQA，这是一个新的经专家验证的、专注于 NLP 的科学图推理与 QA 基准。TutorQA 包含五个任务和 500 个 QA 对。为解决 TutorQA 查询，我们提出了 CGLLM，这是一个将概念图与 LLMs 集成以回答多样化问题的流水线。结果表明，LLMs 的零样本概念图恢复能力可与监督方法相媲美，F1 分数平均提高了 3%。在 TutorQA 任务中，LLMs 的 F1 分数提升高达 26%。此外，人工评估和分析表明，CGLLM 生成的答案包含更细粒度的概念。
引用
@article{arxiv.2402.14293,
title = {Leveraging Large Language Models for Concept Graph Recovery and Question Answering in NLP Education},
author = {Rui Yang and Boming Yang and Sixun Ouyang and Tianwei She and Aosong Feng and Yuang Jiang and Freddy Lecue and Jinghui Lu and Irene Li},
journal= {arXiv preprint arXiv:2402.14293},
year = {2024}
}