预训练什么？高效中间任务选择
计算与语言
2021-09-13 v2
摘要
中间任务微调已被证明能在许多NLP任务中带来巨大的迁移收益。随着候选数据集与预训练语言模型的丰富，运行所有组合的交叉乘积以找到最佳迁移设置已变得不可行。本工作中，我们首先确立在适配器（adapter）设置中可实现相似的序列微调收益，随后整合并改进了先前提出的、用于高效识别有益于中间迁移学习的任务的方法。我们在42个中间任务与11个目标英语分类、多选、问答与序列标注任务组成的多样化集合上实验。结果显示，仅依赖相应数据集的、高效的基于嵌入的方法优于计算昂贵的少样本微调方法。我们的最佳方法在所有目标任务上实现了低于1%的平均Regret@3，表明我们能够高效识别用于中间训练的最佳数据集。
引用
@article{arxiv.2104.08247,
title = {What to Pre-Train on? Efficient Intermediate Task Selection},
author = {Clifton Poth and Jonas Pfeiffer and Andreas Rücklé and Iryna Gurevych},
journal= {arXiv preprint arXiv:2104.08247},
year = {2021}
}
备注
EMNLP 2021