FacLens：面向大型语言模型事实寻求问答中预测非事实性的可迁移探针
计算与语言
2025-08-19 v4 机器学习
摘要
尽管大型语言模型（LLM）取得了进展，但在事实寻求问答中仍然存在非事实性响应。不同于对这些响应进行后置检测的广泛研究，本文研究非事实性预测（NFP），即在响应生成前预测LLM是否会生成非事实性响应。以前的NFP方法显示出LLMs对其知识的意识，但在效率和可迁移性方面面临挑战。本文提出一种轻量级模型，称为事实意识镜头（Factuality Lens，FacLens），有效探测事实寻求问题的隐藏表示以完成NFP任务。此外，我们发现来自不同LLMs的隐藏问题表示 exhibit相似的NFP模式，使FacLens能够跨LLMs实现可迁移性，以降低开发成本。大量实验表明，FacLens在有效性和效率方面均表现出色。
引用
@article{arxiv.2406.05328,
title = {FacLens: Transferable Probe for Foreseeing Non-Factuality in Fact-Seeking Question Answering of Large Language Models},
author = {Yanling Wang and Haoyang Li and Hao Zou and Jing Zhang and Xinlei He and Qi Li and Ke Xu},
journal= {arXiv preprint arXiv:2406.05328},
year = {2025}
}