Echo-LoRA：通过跨层表示注入实现参数高效微调
机器学习
2026-05-12 v1 人工智能
摘要
参数高效微调（PEFT）已成为将大型语言模型适配到下游任务的实用途径，其中 LoRA 风格的方法因其训练成本低且易于部署而特别具有吸引力。然而，大多数 LoRA 变体仅在每层的权重空间内修改更新规则，而深层形成的中间表示在很大程度上未被利用。我们提出 Echo-LoRA，一种用于参数高效微调的跨层表示注入方法。在训练过程中，Echo-LoRA 从较深的源层收集边界隐藏状态，将其聚合成样本级回声表示，并使用轻量级投影和门控网络将所得信号注入浅层 LoRA 或 DoRA 模块。仅答案掩码、掩码蒸馏和随机路由被用于保持此辅助路径的稳定性，并缩小训练与推理之间的差距。在八个常识推理基准测试中，Echo-LoRA 在 LLaMA-7B、LLaMA2-7B 和 LLaMA3-8B 上平均超出已报告的 LoRA 基线 5.7 个百分点。在我们统一实现下复现的 LoRA 基线中，平均增益为 3.0 个百分点；当与 DoRA 结合时，增益为 2.7 个百分点。Echo 路径在训练后被丢弃，因此部署的模型保持原始的低秩 LoRA/DoRA 形式，既不增加推理时的参数，也不增加推理计算。
引用
@article{arxiv.2605.08177,
title = {Echo-LoRA: Parameter-Efficient Fine-Tuning via Cross-Layer Representation Injection},
author = {Yihang Peng and Peng Jin and Jie Gong and Xingyuan Chen and Lingjiao Xu and Ning Su and Yan Ran},
journal= {arXiv preprint arXiv:2605.08177},
year = {2026}
}