复合学习单元：超越参数更新的通用学习以转化型大语言模型为自适应推理器

人类学习依赖于从错误中学习、通过反馈进行调整以及不断完善理解的能力——这些在静态机器学习模型中往往缺失。本文我们提出复合学习单元 (CLU)，旨设计将推理器（如大语言模型 LLM）转化为能够进行通用、持续学习而无需常规参数更新的学习者，同时通过持续互动和反馈提升其推理能力。CLU 基于一种允许推理模型维护和演化动态知识库的架构：用于广泛、可重用见解的通用知识空间，以及用于任务特定学习的提示特定知识空间。通过目标驱动的互动，CLU 不断细化这些知识空间，使系统能够动态适应复杂任务，提炼细微见解，并在以往经验基础上自主构建。我们通过一个密码学推理任务演示了 CLU 的有效性，该任务中它们持续通过反馈演化其理解，洞悉隐藏的转换规则。虽然常规模型难以把握底层逻辑，CLU 通过进行迭代、以目标为导向的过程而表现出色。专门的组件——知识检索、提示生成和反馈分析——在一个强化反馈循环中协同工作。这种方法使 CLU 能够保留过去失败和成功的记忆，自主调整，并有效地应用高级推理，不断从错误中学习，同时在突破的同时不断构建。