SciQAG：用于自动生成科学问答数据集的框架
计算与语言
2024-07-11 v2 人工智能
摘要
我们介绍 SciQAG，这是一个新型框架，用于基于大型语言模型（LLM）从大规模科学文献中自动生成高质量的科学问答对。SciQAG 由 QA 生成器和 QA 评估器组成，二者协同工作，从科学论文中提取多样化且具研究性的问题与答案。利用该框架，我们构建了一个包含 188,042 个问答对的大规模高质量开放式科学问答数据集，数据来自 22,743 篇跨 24 个科学领域的论文。我们还引入了 SciQAG-24D，一个新的基准任务，用于评估 LLM 的科学问答能力。大量实验表明，在 SciQAG 数据集上微调 LLM 可显著提升其在开放式问答和科学任务上的性能。为促进研究与合作，我们将数据集、模型和评估代码公开释放，推动科学问答技术的发展，助力构建更具解释性和推理能力的人工智能系统。
引用
@article{arxiv.2405.09939,
title = {SciQAG: A Framework for Auto-Generated Science Question Answering Dataset with Fine-grained Evaluation},
author = {Yuwei Wan and Yixuan Liu and Aswathy Ajith and Clara Grazian and Bram Hoex and Wenjie Zhang and Chunyu Kit and Tong Xie and Ian Foster},
journal= {arXiv preprint arXiv:2405.09939},
year = {2024}
}