SINdex：用于 LLM 幻觉检测的语义不一致性指数
计算与语言
2025-03-11 v1 人工智能
摘要
大型语言模型（LLMs）越来越多地被部署到各个领域，然而它们容易生成事实上不正确的输出——通常被称为“幻觉”。在现有的缓解策略中，基于不确定性的方法因其易于实现、独立于外部数据以及与标准 LLMs 兼容而特别具有吸引力。在这项工作中，我们引入了一种新颖且可扩展的基于不确定性的语义聚类框架，用于自动幻觉检测。我们的方法利用句子嵌入和层次聚类，结合新提出的不一致性度量 SINdex，以产生更同质的聚类，并在各种 LLMs 中更准确地检测幻觉现象。在著名的开卷和闭卷问答数据集上的评估表明，与最先进的技术相比，我们的方法实现了高达 9.3% 的 AUROC 提升。广泛的消融研究进一步验证了我们框架中每个组件的有效性。
引用
@article{arxiv.2503.05980,
title = {SINdex: Semantic INconsistency Index for Hallucination Detection in LLMs},
author = {Samir Abdaljalil and Hasan Kurban and Parichit Sharma and Erchin Serpedin and Rachad Atat},
journal= {arXiv preprint arXiv:2503.05980},
year = {2025}
}