THaMES：一个用于大语言模型幻觉缓解与评估的端到端工具
计算与语言
2025-01-22 v3
摘要
幻觉，即生成事实性错误内容，是大语言模型（LLMs）中一个日益严峻的挑战。现有的检测和缓解方法通常是孤立的，不足以满足特定领域的需求，并且缺乏标准化的流程。本文介绍了 THaMES（幻觉缓解与评估工具），一个旨在解决这一差距的集成框架和库。THaMES 为评估和缓解 LLMs 中的幻觉提供了一个端到端的解决方案，具有自动化测试集生成、多维度基准测试和可适应的缓解策略。它通过批处理、加权采样和反事实验证等技术，从任何语料库自动创建测试集，确保高数据质量、多样性和成本效益。THaMES 评估模型在包括文本生成和二元分类在内的各种任务中检测和减少幻觉的能力，并应用最佳的缓解策略，如上下文学习（ICL）、检索增强生成（RAG）和参数高效微调（PEFT）。使用包含学术论文、政治新闻和维基百科的知识库对最先进的 LLMs 进行的评估表明，像 GPT-4o 这样的商业模型从 RAG 中获益比从 ICL 中更多，而像 Llama-3.1-8B-Instruct 和 Mistral-Nemo 这样的开放权重模型则从 ICL 中获益更多。此外，PEFT 显著提升了 Llama-3.1-8B-Instruct 在两项评估任务中的性能。
引用
@article{arxiv.2409.11353,
title = {THaMES: An End-to-End Tool for Hallucination Mitigation and Evaluation in Large Language Models},
author = {Mengfei Liang and Archish Arun and Zekun Wu and Cristian Munoz and Jonathan Lutch and Emre Kazim and Adriano Koshiyama and Philip Treleaven},
journal= {arXiv preprint arXiv:2409.11353},
year = {2025}
}
备注
NeurIPS 2024 SoLaR (Socially Responsible Language Modelling Research ) Workshop