面向跨任务泛化的多头适配器路由

用于跨任务泛化的参数高效微调（PEFT）包括在少样本适应测试任务之前，先在多任务训练集上预训练适配器。Polytropon [Ponti et al., 2023]（$\texttt{Poly}$）联合学习一组适配器库存和一个路由函数，该函数在预训练和少样本适应期间为每个任务选择（可变大小的）适配器子集。本文中，我们研究了适配器路由在其成功中所起的作用，并基于我们的发现设计了新的变体。首先，我们基于更细粒度路由提供更多表达能力的直觉，提出了 $\texttt{MHR}$（多头路由），它在可比参数预算下结合适配器参数的子集并优于 $\texttt{Poly}$；通过仅微调路由函数而不微调适配器（$\texttt{MHR}$-$z$），我们以极高的参数效率取得了有竞争力的性能。其次，我们发现 $\texttt{Poly}$/$\texttt{MHR}$ 的性能是更好的多任务优化的结果，而非先前假设的促进适配器重组和局部适应的模块化归纳偏置。事实上，我们发现 $\texttt{MHR}$ 在训练任务间表现出高梯度对齐。我们发现路由在多任务预训练期间最有益，而非在少样本适应期间，并提出了 $\texttt{MHR}$-$\mu$，它丢弃路由并在每个下游任务上微调预训练适配器的平均值。这将 $\texttt{MHR}$-$\mu$ 确立为一种有效的单适配器微调方法。我们还表明，$\texttt{MHR}$-$\mu$ 可通过在多任务训练集上额外训练预训练适配器的平均值若干步，用作有效的零样本迁移方法：这相对于基线在绝对准确率上带来了高达 3% 的提升。