大语言模型能否为事实核查生成忠实解释？迈向基于多智能体辩论的忠实可解释事实核查
计算与语言
2024-02-13 v1
摘要
事实核查研究广泛探索了验证过程，但对自然语言解释的生成关注较少，而这对用户信任至关重要。尽管大语言模型（LLMs）在文本生成方面表现出色，但其在事实核查中生成忠实解释的能力仍未得到充分检验。我们的研究调查了LLMs生成此类解释的能力，发现零样本提示常常导致不忠实的结果。为应对这些挑战，我们提出了多智能体辩论精炼（MADR）框架，该框架利用多个LLM作为扮演不同角色的智能体，在一个旨在增强生成解释忠实性的迭代精炼过程中协同工作。MADR确保最终解释经过严格验证，显著降低了不忠实元素的可能性，并与提供的证据高度一致。实验结果表明，MADR显著提高了LLM生成解释对证据的忠实度，从而提升了这些解释的可信度与可靠性。
引用
@article{arxiv.2402.07401,
title = {Can LLMs Produce Faithful Explanations For Fact-checking? Towards Faithful Explainable Fact-Checking via Multi-Agent Debate},
author = {Kyungha Kim and Sangyun Lee and Kung-Hsiang Huang and Hou Pong Chan and Manling Li and Heng Ji},
journal= {arXiv preprint arXiv:2402.07401},
year = {2024}
}