HEFT：提升语言模型推理效率与准确率的由粗到细层级方法

大语言模型(LLM)对专门推理任务的适应从根本上受限于计算资源。参数高效微调(PEFT)方法已成为一种强大的解决方案，然而这些技术的方案多种多样，不同方法分别在模型的权重空间或表示空间中运作。本文研究了将这些范式进行协同组合可以解锁更优性能与效率的假设。我们提出了 HEFT(Hierarchical Efficient Fine-Tuning)，一种新颖的分层适应策略，以由粗到细的方式组合两种不同的 PEFT 方法：首先使用低秩自适应(LoRA)在权重空间进行广泛的基础适应，随后使用表示微调(ReFT)对内部激活进行精确的手术式精修。我们通过在 BoolQ 基准（一个具有挑战性的推理数据集）上微调 Llama-2-7B 模型来评估该方法。我们的结果揭示了显著的协同效应。使用我们的 HEFT 策略仅微调三个 epoch 的模型达到了 85.17% 的准确率，超过了分别使用仅 LoRA（85.05%）或仅 ReFT（83.36%）方法训练 20 个 epoch 的模型性能。这项工作表明，对 PEFT 方法的精心组合是一项强大的算法创新，为提升语言模型的推理能力提供了更高效、更有效的途径。通过以极小部分的计算预算取得更优结果，我们的发现为克服大规模模型适应复杂认知任务所固有的障碍提供了一种有原则的方法。