透过迷雾:幻觉检测系统的成本效益分析
计算与语言
2024-11-11 v1 人工智能
摘要
本文对人工智能的幻觉检测系统进行了比较分析,重点关注大型语言模型(LLM)的自动摘要和问答任务。我们使用诊断比值比(DOR)和成本效益指标评估了不同的幻觉检测系统。结果表明,虽然先进模型表现更好,但其成本要高得多。我们还展示了理想的幻觉检测系统如何需要在不同模型规模下保持性能。我们的发现强调了选择与特定应用需求和资源约束相匹配的检测系统的重要性。未来研究将探索混合系统以及自动识别表现不佳的组件,以提高AI在检测和缓解幻觉方面的可靠性和效率。
引用
@article{arxiv.2411.05270,
title = {Seeing Through the Fog: A Cost-Effectiveness Analysis of Hallucination Detection Systems},
author = {Alexander Thomas and Seth Rosen and Vishnu Vettrivel},
journal= {arXiv preprint arXiv:2411.05270},
year = {2024}
}
备注
18 pags, 13 figures, 2 tables