LLM幻觉检测器是否受低资源效应的影响？
计算与语言
2026-01-26 v1 人工智能
摘要
尽管LLM在广泛的任务中超越了人类，但仍会以意想不到的方式失败。我们关注两种普遍的失败模式：（i）幻觉，即模型对世界提出错误信息；（ii）低资源效应，即模型在像英语这样的高资源语言中表现出色，但在像孟加拉语这样的低资源语言中性能显著下降。我们研究了这两个问题的交叉点，提出问题：幻觉检测器是否也受到低资源效应的影响？我们在三个领域（事实回忆、STEM和人文科学）中的五个任务上进行实验。使用四个LLM和三个幻觉检测器的实验揭示了一个有趣的发现：如预期，低资源语言的任务准确率会出现显著下降（相对于英语）。然而，检测器准确率的下降幅度通常远小于任务准确率的下降幅度。我们的发现表明，即使在低资源语言中，LLM的内部机制可能仍然编码了关于其不确定性的信号。进一步地，检测器在同一语言（即使非英语）以及多语言设置下都具有鲁棒性，但在没有语言内监督的跨语言设置下则不稳健。
引用
@article{arxiv.2601.16766,
title = {Do LLM hallucination detectors suffer from low-resource effect?},
author = {Debtanu Datta and Mohan Kishore Chilukuri and Yash Kumar and Saptarshi Ghosh and Muhammad Bilal Zafar},
journal= {arXiv preprint arXiv:2601.16766},
year = {2026}
}
备注
Accepted at EACL 2026 (Main)