ClaimTrust：面向 RAG 系统的传播信任评分
计算与语言
2025-03-17 v1 信息检索
摘要
检索增强生成（RAG）系统的快速普及已彻底改变了大规模内容生成的方式，但也凸显了确保检索信息可信度的挑战。本文引入 ClaimTrust，一种基于传播的信任评分框架，用于动态评估 RAG 系统中文档的可靠性。通过修改的 PageRank 算法，ClaimTrust 根据从提取的事实主张中派生的关系，在文档之间传递信任分数。我们预处理并分析了来自 Kaggle 虚假新闻检测数据集中的 814 篇政治新闻，提取出 2,173 条独特主张，并对 965 条有意义的关系（支持或矛盾）进行分类。通过将数据集表示为文档图，ClaimTrust 在迭代更新信任分数直至收敛后，能够有效区分可信赖的文章与不可靠的文章。该方法利用基于嵌入的过滤实现有效的主张比较和关系分类，同时保持计算可扩展性。实验结果表明，ClaimTrust 成功为经验证的文档分配更高的信任分数，并对包含虚假信息的文档进行惩罚。未来方向包括精调主张抽取与比较技术（Li 等，2022）、参数优化、增强语言模型利用以及健壮的评估指标，以将该框架在更广泛的数据集和领域中推广应用。
引用
@article{arxiv.2503.10702,
title = {ClaimTrust: Propagation Trust Scoring for RAG Systems},
author = {Hangkai Qian and Bo Li and Qichen Wang},
journal= {arXiv preprint arXiv:2503.10702},
year = {2025}
}
备注
6 pages, 2 figures, 1 table