AdapterFusion：面向迁移学习的非破坏性任务组合
计算与语言
2021-01-27 v3
摘要
顺序微调与多任务学习是旨在融合多任务知识的方法；然而，它们分别受困于灾难性遗忘与数据集平衡困难。为解决这些缺陷，我们提出 AdapterFusion，一种利用多任务知识的新两阶段学习算法。首先，在知识提取阶段，我们学习称为适配器的任务特定参数，其封装了任务特定信息。然后我们在独立的知识组合步骤中组合这些适配器。我们表明，通过分离两个阶段，即知识提取与知识组合，分类器可以以非破坏性的方式有效利用从多任务中学到的表示。我们在 16 个多样的 NLU 任务上实证评估了 AdapterFusion，发现它能在模型的不同层有效组合各类知识。我们表明，我们的方法优于全微调以及多任务学习等传统策略。我们的代码与适配器可在 AdapterHub.ml 获取。
引用
@article{arxiv.2005.00247,
title = {AdapterFusion: Non-Destructive Task Composition for Transfer Learning},
author = {Jonas Pfeiffer and Aishwarya Kamath and Andreas Rücklé and Kyunghyun Cho and Iryna Gurevych},
journal= {arXiv preprint arXiv:2005.00247},
year = {2021}
}