大型语言模型中基于知识的问答生成对比学习
计算与语言
2024-09-30 v2 人工智能
摘要
随着人工智能技术的快速发展,特别是问答系统的日益广泛应用,高质量的问题生成已成为支持这些系统发展的关键组件。本文聚焦于基于知识的问题生成技术,该技术旨在使计算机在理解特定文本或知识库的基础上模拟人类的提问过程。鉴于大规模语言模型在应用于知识密集型任务时存在幻觉和知识鸿沟的问题,本文提出了一种结合对比学习的增强型问题生成方法。该方法利用多个模型联合挖掘领域知识,并使用对比学习来引导模型减少生成过程中的噪声和幻觉。实验结果表明,通过设计包含对比示例的提示,模型在问题生成方面的性能显著提升,特别是当同时使用对比指令和对比示例时,生成问题的质量最高且准确性得到提高。这些结果证明,本研究提出的结合对比上下文与思维链提示的方法,能够有效提升问题生成的质量和实用性。
引用
@article{arxiv.2409.13994,
title = {Contrastive Learning for Knowledge-Based Question Generation in Large Language Models},
author = {Zhenhong Zhang and Jiajing Chen and Weiyan Shi and Lingjie Yi and Chihang Wang and Qian Yu},
journal= {arXiv preprint arXiv:2409.13994},
year = {2024}
}
备注
5 pages, 2 figures