CiteCheck：迈向准确的引用忠实性检测
计算与语言
2025-02-18 v1
摘要
引用忠实性检测对于提升检索增强生成(RAG)系统至关重要，但该任务的大规模中文数据集仍然稀缺。现有方法因需要人工标注负样本而面临高昂成本。为解决这一问题，我们推出了首个大规模中文数据集CiteCheck，用于引用忠实性检测，通过两阶段人工标注的低成本方法构建。该方法在平衡正负样本的同时显著降低了标注开销。CiteCheck包含训练集和测试集。实验表明：(1)测试样本极具挑战性，即使最先进的LLM也难以达到高准确率；(2)利用LLM生成的负样本增强训练数据可使小模型通过参数高效微调获得强劲性能。CiteCheck为推进中文RAG系统中的引用忠实性检测提供了坚实基础。该数据集公开发布以促进研究。
引用
@article{arxiv.2502.10881,
title = {CiteCheck: Towards Accurate Citation Faithfulness Detection},
author = {Ziyao Xu and Shaohang Wei and Zhuoheng Han and Jing Jin and Zhe Yang and Xiaoguang Li and Haochen Tan and Zhijiang Guo and Houfeng Wang},
journal= {arXiv preprint arXiv:2502.10881},
year = {2025}
}