面向忠实多跳问答的LLM代理解码方法分析
计算与语言
2025-04-01 v1 人工智能
摘要
大型语言模型（LLM）经常产生事实不准确的输出——即幻觉现象——限制了其在知识密集型自然语言处理任务中的准确性。检索增强生成和代理框架（如推理与行动，ReAct）可通过赋予模型对外部知识的访问来解决此问题。然而，LLM往往未能忠实于检索到的信息。若LLM需要就检索信息进行推理，这一问题尤为关键。近期研究探索了训练无关的解码策略以提高模型生成的忠实度。我们对ReAct框架与解码策略（即DeCoRe、DoLa和CAD）的组合如何影响LLM生成答案的忠实度进行了系统性分析。我们的结果表明，将用于知识检索的代理框架与提高忠实度的解码方法结合使用，可提高下游多跳问答任务的准确性。例如，我们在HotpotQA上观察到F1分数从19.5提升至32.6。
引用
@article{arxiv.2503.23415,
title = {An Analysis of Decoding Methods for LLM-based Agents for Faithful Multi-Hop Question Answering},
author = {Alexander Murphy and Mohd Sanad Zaki Rizvi and Aden Haussmann and Ping Nie and Guifu Liu and Aryo Pradipta Gema and Pasquale Minervini},
journal= {arXiv preprint arXiv:2503.23415},
year = {2025}
}