用于消除大语言模型幻觉的反事实辩论框架
计算与语言
2025-01-16 v2
摘要
大型语言模型 (LLM) 在 various natural language processing 任务中表现出色，但在幻觉问题上存在困扰。现有解决方案考虑利用 LLM 的内在推理能力来缓解幻觉问题，如自我纠正和多样化采样方法。然而，这些方法常因内在偏见而过度信任 LLM 的初始答案。缓解此问题的关键在于覆盖 LLM 为答案检查所固有的偏见。为此，我们提出了一个反事实多智能体辩论 (CFMAD) 框架。CFMAD 通过迫使 LLM 为预定答案的正确性生成论据来覆盖其内在偏见。具有不同预定立场的 LLM 与持怀疑态度的评论家就生成论据的合理性进行反事实辩论。最终，辩论过程由第三方评判家评估以确定最终答案。在四个包含三个任务的数据集上进行的大量实验表明，CFMAD 在现有方法方面具有优势。
引用
@article{arxiv.2406.11514,
title = {Counterfactual Debating with Preset Stances for Hallucination Elimination of LLMs},
author = {Yi Fang and Moxin Li and Wenjie Wang and Hui Lin and Fuli Feng},
journal= {arXiv preprint arXiv:2406.11514},
year = {2025}
}
备注
accepted by COLING 2025