OpenDelta：用于预训练模型参数高效适配的即插即用库
机器学习
2023-07-07 v1 人工智能
计算与语言
摘要
大型预训练模型（PTM）的规模在适配下游任务时带来了显著挑战，因为全参数微调伴随高昂的优化开销与存储成本。为此，许多研究探索参数高效调优方法，亦称「delta 调优」，其仅更新一小部分参数（称为「delta 模块」），同时保持骨干模型参数固定。然而，由于现有实现直接修改骨干 PTM 的代码并为每个 PTM 硬编码特定的 delta 调优方法，delta 调优的实用性与灵活性受到限制。本文中，我们提出 OpenDelta，一个开源库，通过提供多种 delta 调优方法的即插即用实现克服了这些局限。我们的新技术无需修改骨干 PTM 的代码，使 OpenDelta 兼容不同的乃至新颖的 PTM。OpenDelta 设计简洁、模块化且可扩展，为研究人员与从业者高效适配大型 PTM 提供了综合平台。
引用
@article{arxiv.2307.03084,
title = {OpenDelta: A Plug-and-play Library for Parameter-efficient Adaptation of Pre-trained Models},
author = {Shengding Hu and Ning Ding and Weilin Zhao and Xingtai Lv and Zhen Zhang and Zhiyuan Liu and Maosong Sun},
journal= {arXiv preprint arXiv:2307.03084},
year = {2023}
}
备注
Accepted to ACL 2023 Demo track