Res-Tuning：一种通过从主干解绑调谐器实现的灵活高效调谐范式

参数高效调谐已成为将大规模基础模型迁移至下游应用的趋势。现有方法通常将一些轻量级调谐器嵌入主干中，其中调谐器的设计与学习都高度依赖于基模型。本工作提供了一种新的调谐范式，称为Res-Tuning，其有意将调谐器从主干中解绑。借助理论与经验证据，我们表明流行的调谐方法在我们的解绑表述下具有等价对应形式，从而可轻松集成至我们的框架。得益于结构解耦，我们得以将调谐器设计从网络架构中解放，促进各种调谐策略的灵活组合。我们进一步提出Res-Tuning的内存高效变体，其中由调谐器序列构成的旁路有效地从主分支分离，使得梯度仅反向传播至调谐器而不至主干。该分离也允许对多任务推理进行一次性主干前向。在判别与生成任务上的大量实验从效能与效率角度证明了我们的方法优于现有替代方案。项目页面：$\href{https://res-tuning.github.io/}{\textit{https://res-tuning.github.io/}}$。