条件适配器：参数高效迁移学习与快速推理
计算与语言
2023-11-28 v2
摘要
我们提出条件适配器（Conditional Adapter, CoDA），一种参数高效迁移学习方法，同时提升推理效率。CoDA 推广了标准适配器方法，以条件计算实现一种平衡速度与精度的新方式。从已有的稠密预训练模型出发，CoDA 引入稀疏激活以及少量新参数和轻量级训练阶段。我们的实验表明，CoDA 方法提供了一种出乎意料高效的知识迁移途径。在一系列语言、视觉与语音任务上，相较于最先进的 Adapter 方法，CoDA 实现了 2 倍至 8 倍的推理加速，且精度损失适中至无，并具备同等的参数效率。
引用
@article{arxiv.2304.04947,
title = {Conditional Adapters: Parameter-efficient Transfer Learning with Fast Inference},
author = {Tao Lei and Junwen Bai and Siddhartha Brahma and Joshua Ainslie and Kenton Lee and Yanqi Zhou and Nan Du and Vincent Y. Zhao and Yuexin Wu and Bo Li and Yu Zhang and Ming-Wei Chang},
journal= {arXiv preprint arXiv:2304.04947},
year = {2023}
}
备注
NeurIPS camera ready version