LEAF：通过事实验证增强学习与评估以提升大型语言模型的事实性
计算与语言
2024-11-01 v1 人工智能
摘要
大型语言模型 (LLMs) 在各种自然语言处理任务中展现了卓越的能力，但它们常常难以保持事实准确性，尤其是在医疗保健等知识密集型领域。本研究引入了 LEAF：通过事实验证增强的学习与评估，这是一种旨在增强 LLMs 事实可靠性的新方法，重点关注医学问答 (QA)。LEAF 采用双重策略来提高来自 Llama 3 70B Instruct 和 Llama 3 8B Instruct 等模型响应的事实准确性。第一种策略，先事实验证后检索增强生成 (Fact-Check-Then-RAG)，通过整合事实验证结果来指导检索过程，从而改进检索增强生成 (RAG)，而无需更新模型参数。第二种策略，通过自训练从事实验证中学习 (Learning from Fact-Checks via Self-Training)，涉及对经过事实验证的响应进行监督微调 (SFT)，或应用简单偏好优化 (SimPO) 并将事实验证作为排序机制，两者都通过监督来更新 LLM 参数。这些发现表明，无论是通过 RAG 增强还是自训练，整合事实验证后的响应都能提高 LLM 输出的可靠性和事实正确性，为信息准确性至关重要的应用提供了一个有前景的解决方案。
引用
@article{arxiv.2410.23526,
title = {LEAF: Learning and Evaluation Augmented by Fact-Checking to Improve Factualness in Large Language Models},
author = {Hieu Tran and Junda Wang and Yujan Ting and Weijing Huang and Terrence Chen},
journal= {arXiv preprint arXiv:2410.23526},
year = {2024}
}
备注
22 pages, 9 figures