ExT5：面向极致多任务扩展的迁移学习
计算与语言
2022-02-01 v2 机器学习
摘要
尽管多任务学习与自然语言处理（NLP）中的迁移学习近期取得了成功，但鲜有研究系统地考察预训练期间任务数量扩展所带来的影响。为此，本文引入了 ExMix（Extreme Mixture）：一个跨越多个领域与任务族、包含 107 个有监督 NLP 任务的庞大数据集。利用 ExMix，我们以迄今最大规模研究了多任务预训练的影响，并分析了常见任务族之间的协同训练迁移。通过该分析，我们表明手动挑选出理想的多任务预训练任务集合并非易事，且多任务扩展本身即可大幅提升模型性能。最后，我们提出 ExT5：一种采用自监督跨度去噪与有监督 ExMix 相结合的多任务目标进行预训练的模型。通过大量实验，我们表明 ExT5 在 SuperGLUE、GEM、Rainbow、闭卷问答（Closed-Book QA）任务以及若干 ExMix 之外的任务上均优于强大的 T5 基线。ExT5 还在预训练时显著提升了样本效率。
引用
@article{arxiv.2111.10952,
title = {ExT5: Towards Extreme Multi-Task Scaling for Transfer Learning},
author = {Vamsi Aribandi and Yi Tay and Tal Schuster and Jinfeng Rao and Huaixiu Steven Zheng and Sanket Vaibhav Mehta and Honglei Zhuang and Vinh Q. Tran and Dara Bahri and Jianmo Ni and Jai Gupta and Kai Hui and Sebastian Ruder and Donald Metzler},
journal= {arXiv preprint arXiv:2111.10952},
year = {2022}
}
备注
ICLR 2022; see https://youtu.be/FbRcbM4T-50 for a video overview of the paper