面向知识密集型问答任务的自动数据集生成
计算与语言
2025-05-21 v1 人工智能
摘要
问答(QA)系统需在知识库中搜索合适的答案。当前 QA 系统在处理需要复杂推理或实时知识集成的查询时仍感到困难，常依赖于检索技术，如检索增强生成(RAG)。然而，RAG 在处理复杂推理和多个信息来源之间的逻辑连接方面仍面临挑战。本文提出一种通过自动生成基于上下文的问答对来增强大语言模型(LLM)在知识密集型 QA 任务中的表现的方法。该方法利用 LLM 生成微调数据，减少对人工标注的依赖，提高模型的理解和推理能力。所提出的系统包括自动问答生成器和模型微调器，使用困惑度、ROUGE、BLEU 和 BERTScore 进行评估。全面实验表明，该方法在逻辑连贯性和事实准确性方面均取得改进，为开发具有适应性的人工智能(AI)系统提供了意义。Mistral-7b-v0.3 在生成的问答对上表现优于 Llama-3-8b，BERT F1、BLEU 和 ROUGE 分别为 0.858、0.172 和 0.260，而人工标注问答对的对应分数分别为 0.836、0.083 和 0.139。
引用
@article{arxiv.2505.14212,
title = {Automatic Dataset Generation for Knowledge Intensive Question Answering Tasks},
author = {Sizhe Yuen and Ting Su and Ziyang Wang and Yali Du and Adam J. Sobey},
journal= {arXiv preprint arXiv:2505.14212},
year = {2025}
}