从任务描述中学习生成特定任务的适配器
计算与语言
2021-06-16 v2 机器学习
摘要
诸如 BART 之类的预训练文本到文本 Transformer 已在一系列 NLP 任务中取得令人印象深刻的性能。近期研究进一步表明，通过将任务描述作为源序列的一部分并以 (源, 目标) 样例训练模型，它们能够学会泛化到新颖任务。在测试时，这些微调后的模型可利用新任务描述作为输入的一部分对新任务进行推断。然而，该方法存在潜在局限，因为模型学习的是解决单个 (源, 目标) 样例（即实例层面），而非通过将一个任务内的所有样例作为整体来学习任务层面的求解。为此，我们引入 Hypter，一个通过训练超网络从任务描述生成特定任务、轻量级适配器的框架，以提升文本到文本 Transformer 对未见任务的泛化能力。在 ZEST 数据集和合成 SQuAD 数据集上的实验表明，Hypter 优于微调基线。值得注意的是，当使用 BART-Large 作为主网络时，Hypter 在 ZEST 数据集上带来了 11.3% 的相对提升。
引用
@article{arxiv.2101.00420,
title = {Learning to Generate Task-Specific Adapters from Task Description},
author = {Qinyuan Ye and Xiang Ren},
journal= {arXiv preprint arXiv:2101.00420},
year = {2021}
}
备注
Accepted to ACL 2021. Camera-ready version. Code: https://github.com/INK-USC/hypter