PARA：基于提示感知表示调整的参数高效微调

在参数高效微调 (PEFT) 方法的领域中，尽管像 LoRA 等选项可用，但行业仍然对在单一骨干网络多租户场景中兼具效率与性能的 PEFT 方法有持续需求。本文引入一种新颖且简单的方法，称为 Prompt Aware Representation Adjustment (PARA)。我们的方法核心是将轻量级向量生成器集成到每个 Transformer 层中。该生成器产生响应于输入提示的向量，从而相应地调整隐藏表示。我们在 diverse 的任务上进行了广泛实验，结果令人鼓舞。首先，PARA 方法在性能上超过当前 PEFT 基准，尽管可调参数数量相似。其次，它在单骨干多租户场景下比 LoRA 更高效，凸显其在工业采纳方面的显著潜力。