Citekit:用于大语言模型引文生成的模块化工具包
计算与语言
2024-12-18 v2 人工智能
摘要
使大语言模型(LLMs)在问答(QA)任务中生成引文是一个新兴范式,旨在提高其在利用外部参考文献生成答案时回答的可验证性。然而,目前尚无统一的框架来标准化和公平比较不同的引文生成方法,导致难以复现不同方法并进行全面评估。为了应对上述问题,我们引入了\name,这是一个开源且模块化的工具包,旨在促进现有引文生成方法的实现与评估,同时推动开发新方法以提高LLM输出中的引文质量。该工具具有高度可扩展性,允许用户利用4个主要模块和14个组件构建流水线,以评估现有方法或创新设计。我们使用两个最先进的大语言模型和11个引文生成基线进行的实验展示了不同模块在回答准确性和引文质量提升方面的不同优势,以及提高粒度的挑战。基于对组件有效性的分析,我们提出了一种新方法self-RAG \snippet,在回答准确性和引文质量之间取得了平衡。Citekit发布于 https://github.com/SjJ1017/Citekit。
引用
@article{arxiv.2408.04662,
title = {Citekit: A Modular Toolkit for Large Language Model Citation Generation},
author = {Jiajun Shen and Tong Zhou and Yubo Chen and Kang Liu},
journal= {arXiv preprint arXiv:2408.04662},
year = {2024}
}
备注
7 pages, 14 figures