用于评估 LLM 中基于上下文问答的数据高效元模型
计算与语言
2025-05-30 v1
摘要
大语言模型（LLMs）和检索增强生成（RAG）系统在工业应用中日益普及，但其在检测幻觉方面的挑战依然阻碍着可靠性。尽管利用 LLM 隐藏状态（如激活追踪和表示分析）的监督式最先进（SOTA）方法展现出了潜力，但它们对大量标注数据集的依赖限制了其在实际应用中的可扩展性。本文通过研究减少两种 SOTA 幻觉检测框架训练数据需求的可行性，解决了数据标注这一关键瓶颈：分析注意力头动态的 Lookback Lens，以及解码模型内部表示的探针方法。我们提出了一种结合高效分类算法与降维技术的方法，以在保持竞争性性能的同时最小化样本量需求。在标准化问答 RAG 基准上的评估表明，我们的方法仅使用 250 个训练样本即可达到与基于强大专有 LLM 的基线相当的性能。这些结果突显了轻量级、数据高效范式在工业部署中的潜力，尤其是在标注受限的场景下。
引用
@article{arxiv.2505.23299,
title = {Data-efficient Meta-models for Evaluation of Context-based Questions and Answers in LLMs},
author = {Julia Belikova and Konstantin Polev and Rauf Parchiev and Dmitry Simakov},
journal= {arXiv preprint arXiv:2505.23299},
year = {2025}
}