简洁有序的感知促进大语言模型的推理
计算与语言
2025-03-17 v5 人工智能
摘要
利用大语言模型(LLMs)处理推理任务已引起越来越多的关注。在具有大量前提且需多跳推理的复杂逻辑问题中取得满意结果仍极具挑战。尤其,LLMs 的推理能力对无序和干扰内容十分脆弱。本工作中,我们首先从信息流视角考察其机制,揭示 LLMs 在处理推理任务中的无序与无关内容时面临类似人类的认知偏差困难。然而与人类不同,无序和无关内容并不会显著降低人类表现,因为人类倾向于提炼最相关信息并系统性地组织思维,从而辅助其回答问题。基于此,我们进一步提出一种名为简洁有序感知(COP)的新推理方法。COP 仔细分析所给陈述以识别最相关信息,同时高效消除冗余,随后以更适应模型推理过程的有组织形式提示 LLMs。通过感知简洁有序的上下文,LLMs 的推理能力可得以更好激发。在多个流行逻辑基准(ProofWriter、PrOntoQA、PrOntoQA-OOD 和 FOLIO)及数学基准(DI-GSM)上的大量实验结果表明,COP 显著优于先前最优方法。
引用
@article{arxiv.2310.03309,
title = {Concise and Organized Perception Facilitates Reasoning in Large Language Models},
author = {Junjie Liu and Shaotian Yan and Chen Shen and Zhengdong Xiao and Liang Xie and Wenxiao Wang and Jieping Ye},
journal= {arXiv preprint arXiv:2310.03309},
year = {2025}
}
备注
Accepted by NAACL2025 Findings