规划与推理：对LoRA层能力的消融实验

低秩适应（LoRA）层已成为高效模型微调的有前景的方法，但其能力与局限性尚未得到充分探索。本文：1) 探究LoRA层是否有效提升推理与规划能力；2) 我们引入HashChain推理，一个新颖的评估数据集，用于确定推理能力。通过对GPT-2进行系统消融研究，我们证明推理能力主要存在于低秩空间，可通过LoRA层有效提升。对训练后LoRA矩阵的有效秩分析显示，针对推理任务的有效秩需求仅为规划任务的2-3倍。这为LoRA层的有效应用提供了背景信息。这也表明推理在低参数空间中进行概括偏好是根本的。