基于信念树传播的LLM幻觉检测概率框架
计算与语言
2025-02-11 v2
摘要
本文聚焦于幻觉检测任务，即确定LLM生成语句的真实性。为解决此问题，流行的方法利用LLM在一组由LLM生成的逻辑相关增强语句中自身一致性，其信念，这不需要外部知识数据库即可与白盒和黑盒LLM一起工作。然而，在许多现有方法中，增强语句倾向于非常单调且不结构化，这使得将来自LLM信念的有意义信息整合到这些语句中变得困难。此外，许多方法使用LLM信念的二元化版本，而不是连续版本，这显著丢失了信息。为克服这些限制，本文提出了信念树传播（BTProp），一种用于LLM幻觉检测的概率框架。BTProp通过递归将父语句分解为子语句的三种分解策略引入信念树，并构建隐藏马尔可夫树模型，以原则方式整合这些语句中的LLM信念分数。实验结果表明，我们的方法在多个幻觉检测基准测试中将基线提高了3%-9%（以AUROC和AUC-PR评估）。代码可在 https://github.com/UCSB-NLP-Chang/BTProp 获取。
引用
@article{arxiv.2406.06950,
title = {A Probabilistic Framework for LLM Hallucination Detection via Belief Tree Propagation},
author = {Bairu Hou and Yang Zhang and Jacob Andreas and Shiyu Chang},
journal= {arXiv preprint arXiv:2406.06950},
year = {2025}
}
备注
NAACL 2025 (main conference)