资源受限 NLP 系统的幻觉检测少样本优化框架
计算与语言
2025-01-29 v1
摘要
文本生成中的幻觉检测是自然语言处理（NLP）系统的一个持续未解决难题，常导致机器翻译和定义建模等应用中输出不可靠。现有方法在数据稀缺和无标签数据集限制方面受到挑战，正如 SHROOM 在 SemEval-2024 中共享任务中所突显的。本文提出了一种新框架以应对这些挑战，引入 DeepSeek 少样本优化以通过迭代提示工程增强弱标签生成。我们实现了高质量的注释，显著提升了下游模型的性能，通过重新结构化数据以匹配指令生成模型。我们进一步在这些优化后的注释上微调 Mistral-7B-Instruct-v0.3 模型，使其在资源受限环境中准确检测幻觉。将该微调模型与集成学习策略结合，我们的方法在测试集上实现了 85.5% 的准确率，为 SHROOM 任务设定了新纪录。本研究表明，数据重新结构化、少样本优化和微调在构建面向资源受限 NLP 系统的可扩展且稳健的幻觉检测框架方面具有有效性。
关键词
引用
@article{arxiv.2501.16616,
title = {Few-Shot Optimized Framework for Hallucination Detection in Resource-Limited NLP Systems},
author = {Baraa Hikal and Ahmed Nasreldin and Ali Hamdi and Ammar Mohammed},
journal= {arXiv preprint arXiv:2501.16616},
year = {2025}
}