IDEA: 通过归纳、演绎和归谬增强大语言模型代理的规则学习能力
计算与语言
2025-10-31 v6 人工智能
摘要
虽然大语言模型 (LLM) 已被广泛评估其在演绎和归纳推理方面的能力,但在交互式环境中进行整体规则学习的熟练程度仍受到较少关注。我们引入了 RULEARN,一个新型基准,用于评估 LLM 代理在交互式设置下的规则学习能力。在 RULEARN 中,代理通过与模拟环境交互来收集观察、辨识模式并解决复杂问题。为了增强 LLM 代理的规则学习能力,我们提出了 IDEA 框架,该框架集成了归纳、演绎和归谬的过程。IDEA 代理通过归谬从有限观察中生成初始假设,通过演绎制定验证这些假设的计划或利用这些假设解决问题,并通过归纳不断细化先前的假设,动态建立和应用规则,模拟人类规则学习行为。我们对 IDEA 框架进行了评估,该框架涉及五种代表性 LLM,显示出相对于基线的显著改进。此外,我们通过人类参与者的研究发现,人类与 LLM 在规则学习行为方面存在显著差异。我们相信该基准将作为一个宝贵且具挑战性的资源,而 IDEA 将为开发具备人类类规则学习能力的 LLM 代理在现实场景中提供关键见解。我们的代码和数据已公开。
引用
@article{arxiv.2408.10455,
title = {IDEA: Enhancing the Rule Learning Ability of Large Language Model Agent through Induction, Deduction, and Abduction},
author = {Kaiyu He and Mian Zhang and Shuo Yan and Peilin Wu and Zhiyu Zoey Chen},
journal= {arXiv preprint arXiv:2408.10455},
year = {2025}
}
备注
Accepted to ACL 2025 Findings