PEDRO: 基于提示依赖表示修改的参数高效微调
计算与语言
2024-09-27 v1
摘要
由于规模庞大，大型语言模型（LLM）通常部署在单骨干多租户框架中。在这种设置下，单个LLM骨干实例必须通过应用各种参数高效微调（PEFT）模型来服务多个用户或任务。尽管存在许多有效的PEFT技术（如LoRA），但仍需要一种在推理时实现高效率并在下游任务上具有竞争性能的PEFT方法。在本研究中，我们介绍了一种新颖且直接的PEFT方法，名为提示依赖表示修改（PEDRO）。所提出的方法涉及在每个Transformer层中集成一个轻量级向量生成器，该生成器根据输入提示生成向量。然后，这些向量通过点积运算修改LLM生成的隐藏表示，从而影响模型的语义输出和生成内容。跨多种任务的广泛实验表明：(a) 在使用相似数量的可调参数时，PEDRO超越了最近的PEFT基准。(b) 在单骨干多租户部署模型下，PEDRO展现出比LoRA更优越的效率，表明其具有显著的工业应用潜力。
引用
@article{arxiv.2409.17834,
title = {PEDRO: Parameter-Efficient Fine-tuning with Prompt DEpenDent Representation MOdification},
author = {Tianfang Xie and Tianjing Li and Wei Zhu and Wei Han and Yi Zhao},
journal= {arXiv preprint arXiv:2409.17834},
year = {2024}
}
备注
arXiv admin note: text overlap with arXiv:2405.18203