CrEst：基于弱监督的 LLM 上下文可信度估计
计算与语言
2025-06-19 v1 机器学习
摘要
上下文信息的整合显著提升了大语言模型（LLM）在知识密集型任务上的性能。然而，现有方法常忽视了一个关键挑战：上下文文档的可信度可能差异巨大，从而导致不可靠信息的传播。本文引入 CrEst，一个无需手动标注即可评估 LLM 推理过程中上下文文档可信度的新型弱监督框架。我们的方法基于这样一种洞见：可信文档倾向于与其他可信文档在语义上更具一致性，从而通过文档间一致性实现自动化可信度估计。为将可信度纳入 LLM 推理，我们提出了两种集成策略：一种是针对无法获取内部权重或激活值的模型的黑箱方法，以及一种直接修改注意力机制的白箱方法。跨越三个模型架构和五个数据集的大量实验表明，CrEst 始终优于强基准，准确率提升最高可达 26.86%，F1 分数提升 3.49%。进一步分析显示，CrEst 在高噪声条件下仍能保持稳健的性能。
引用
@article{arxiv.2506.14912,
title = {CrEst: Credibility Estimation for Contexts in LLMs via Weak Supervision},
author = {Dyah Adila and Shuai Zhang and Boran Han and Bonan Min and Yuyang Wang},
journal= {arXiv preprint arXiv:2506.14912},
year = {2025}
}